Kausalitet og udeladt variabel?

Kausalitet i den slags undersøgelse misbruges ofte. En statistisk undersøgelse siger ikke noget om kausalitet. Hvis man skal lave den slags undersøgelser ikke sammenligne med en anden gruppe, der vides fra starten at være anderledes(har ikke behov for hjælp). Man bør tage en gruppe, der behøver hjælp  og dele den i 2 hold ved tilfældig udtrækning. Disse skal så sammenlignes med forskellig former for hjælp. Jeg har ikke set den pågældende undersøgelse; men konklusionen  er i virkeligheden også kun, at den hjælp de har fået ikke har virket godt nok.

Tak for dit svar! Når du skriver, at en statistisk undersøgelse ikke siger noget om kausalitet, betyder det så, at jeg ikke kan/skal skrive noget om, at der er omvendt kausalitet? Det eneste, jeg kan kommentere er, at man ikke kan sammenligne de to grupper (er det det, som kaldes et selektionsproblem?)?

Man har vel lavet et cross-sectional design, som virker rigtig fint til at beskrive tilstanden, men som siger meget lidt om årsagen. Jeg har meget svært ved at se, hvordan det skulle kunne lade sig gøre med sådan et design i det her tilfælde, idet man jo er interesseret i en udvikling blandt eleverne, hvor cross-sectional giver et øjebliksbillede.
Havde man brugt et longitudinelt design, havde man testet alle de elever, der fik hjælp, inden de startede, og igen når de sluttede, men det udelukker ikke 3.variable, f.eks. påvirkning fra forskeren eller noget, der påvirker alle elever negativt, ikke kun de der får hjælp.

Den bedste måde at gøre det på, ville være, at man tilstræber det eksperimentelle design, hvor man har en gruppe, der udsættes for ændringen (dem der har behov for hjælp) og en kontrolgruppe, der ikke gør. Problemet er bare, at man ikke kan lave randomiseret udvælgelse af grupperne, fordi det kun er de svageste elever, der har brug for hjælp.

Man kunne jo så lave en cross-sectional-undersøgelse i starten af forløbet, hvor nogen modtager hjælp og andre ikke gør, og så lave den igen efter noget tid, men ifølge teorien (De Vaus, 2001: Research design in social research), så er det ikke de samme personer, man måler på begge gange i sådan et design, men tanken er vel rigtig. Måske hedder det et paneldesign, hvis det er de samme personer.

Hvis man skal trække noget positivt frem fra undersøgelsen, så må det vel være, at de har fundet ud af, at der er så mange flere, der dumper, på trods af ekstra hjælp. Det kunne give anledning til en ny undersøgelse, der finder årsagen til den forholdsvis høje dumpeprocent, som f.eks. kunne være forkert hjælp, sådan som du også skriver, #0.

Min konklusion må altså være, at de oplysninger, der gives i artiklen, ikke er nok til at understøtte rubrikken, fordi vi ikke ved, hvordan eleverne har udviklet sig. Undersøgelsens interne validitet er ikke god nok til, at vi kan slutte kausalitet på nogen måder. Vi ved, at der er korrelation mellem dumpeprocent og at have modtaget hjælp, men vi har ikke noget grundlag for at slutte kausalitet. Man kan sætte det op sådan, at forskernes uafhængige variabel har været det at modtage hjælp, og deres afhængige har været dumpeprocent.
Man kan tænke sig 3.variable, der påvirker både det, at eleven modtager hjælp, og at hjælpen ikke virker, f.eks. undervisningsformen eller forældrene. Det vil give en spuriøs sammenhæng frem for en kausal.
Rubrikken giver nærmere et normativt udsagn om, at hjælpen under alle omstændigheder burde have givet lavere dumpeprocent, uagtet elevernes tidligere niveau. Men reelt ved vi altså ikke, om hjælpen har virket.

Så for at svare på dine spørgsmål, er det efter min bedste overbevisning ikke meningen, at du skal finde (omvendt) kausalitet, for det er slet ikke muligt i undersøgelsen (ud fra de oplysninger, vi har). Jeg har forsøgt at give en begrundelse for, at der ikke kan sluttes kausalitet, mest på grund af designet. Som nævnt ved cross-sectional deisgn, kan man godt finde kausalitet ved at sammenligne grupper, der er fordelt efter forskellighed. Det kræver bare, at man finder en hel bunke af oplysninger om personerne, så man kan undersøge, om den formodede sammenhæng er kausal, eller om det er 3.variable, der har betydning. Dine bud på 3.variable er gode, og jeg har også foreslået et par stykker her.

Lidt tilføjelse til #1.

Det der siges er vel i virkeligheden at hjælpen ikke virker godt nok. Dette er ikke en konklusion fra undersøgelsen; men en politisk vurdering foretaget på grundlag manglende data. Det er i virkeligheden nok mere baseret på ønsketænkning end data.

Hvad nu hvis ingen havde bestået, hvis man ikke havde givet den hjælp? Ville de resurser man har brugt på den ekstra støtte så være givet godt ud?

Et andet problem er om andelen af bestået er et godt mål for om hjælpen virker?. De elever, som ikke består kan sagtens have fået et bedre liv ud af hjælpen. Når man har brugt dette mål (bestået eksamen), er det sandsynligvis, fordi det er nemt og dermed billigt at fremskaffe disse data.

At dele op i 2 hold som nævnt i #1 kan have etiske problemer. Hvis man er overbevist om at det virkelig hjælper kan man så tillade sig at nægte elever den hjælp bare for at få mere sikre data ?. Det samme problem opstår ved test af medicin. Hvis man kan se at medicinen virker, kan man så tillade at nægte at give medicinen til de syge blot for at få sikre data. Jeg har kendskab til at man har afbrudt sådanne forsøg fordi man fandt det uetisk at forsætte

Det er sandsynligvis både dyrt og besværligt måske endda umuligt at lave forsøg, der giver et godt billede af om hjælpen virker; men det ændrer ikke på at den foreliggende undersøgelse ikke siger spor om dette i alt fald ikke fra de data der er oplyst her.

Forresten mange tak for hjælpen, det gav mig lige en del mere at gå videre med :-)