fejlkilder=> spørgeskemaundersøgelse?

Fejl ved databehandling(analyse).? Der er vel ikke andre.

Der kan være rigtig rigtig mange grunde.

Her er en del af mine metode noter fra første semester, der er ret mange ting at huske og afveje. Bruger man ikke sin fornuft så tager man fejl. For ved alle spørgeskemaundersøgelser vil man tage fejl, spørgsmålet er bare hvor meget man tager fejl, og det er ret vigtig at kunne lave en analyse hvor i man beregner med hvor stor sandsynligheden er for at, et eller andet er tilfældet i den virkelige verden.

1. Forskningsprocessen
a. Hypoteser forudsiger,
i. at en uafhængig variabel, giver en effekt på en afhængig variabel
b. Hypotetisk deduktiv fremgangsmåde:
i. Teori fra foregående litteratur, bruges til at genere en hypotese, som efterfølgende kan testes empirisk
c. Validitet
i. Målings validitet
1. Et kriterium som er forbundet med kvantitativ forskning, and til søgen af socialvidenskabelige koncepter. Er også kendt som ”konstruktions validitet”
2. Er relateret til spørgsmålet om: er en måleenhed, som er udtænkt via et koncept, reflektere den virkeligt det, som måleenheden gerne vil beskrive?
3. Hvis en måleenhed er ustabil og variere, påvirker det negativt reabiliteten.
4. Værdien af en måleenhed forudsætter at den er pålidelig.
ii. Intern validitet
1. Udtrykker data virkeligheden for de studerede enheder?
2. Dybe interviews og langtidsobservationer giver mulighed for bedre intern validitet, men samtidig er fokus kun på en lille gruppe, hvilket kan resultere i et tab af ekstern validitet.
3. Er relateret til spørgsmålet om: en konklusion, som indeholder et kausalt forhold mellem to eller flere variabler, er sand.
4. Er relateret til spørgsmålet om: Hvor sikre kan vi være på, at den uafhængige variabel, har den mindste del i variationen hos den afhængige variabel?
iii. Ekstern validitet
1. Udtrykker data virkeligheden for en bredere population?
2. Kan den kausale sammenhæng generaliseres udover det domæne (tid, rum, sted) som er blevet undersøgt?
iv. Økologisk validitet
1. i hvor stor udstrækning at forskerens data matcher medlemmernes verden
d. Reliabilitet
i. Er relateret til spørgsmålet om: resultaterne kan gentages?
ii. At måle enhederne er konsistente
iii. Induktive fremgangsmåder, kan give ringere realibilitet, for hvis hvert interview er forskelligt, er det sværere at sammenligne flere interviews.
iv. Deduktive fremgangsmåder, dvs. strukturredere spørgeskemaer, interviews, observationer, er lettere at sammenligne. Ligesom det er lettere at spørge/undersøge en større population
e. Generaliserbarhed
2. Problemstilling
a. Det første (og mest praktiske) skridt til at identificere et forskningsspørgsmål (problemstilling), er at undersøge hvilke spørgsmål der tidligere er blevet stillet til området.
3. Forskningsstrategi
a. Deduktion:
i. Logiske konklusioner frembringes af rationelle præmisser
b. Induktion:
i. Bruges når forholdet mellem rene logiske relationer og præmisser er utilstrækkelige. Induktive metoder generer teori ud fra beviser, i stedet for at teste allerede eksisterende teori, i en rationel forlængelse.
c. Data
i. Er det som bliver indsamlet
ii. Måden hvor på man vælger at indsamle data, hvilken vinkel man har til at strukturere observationer og spørgsmål, vil påvirke og forme indholdet af data. I denne sammenhæng er data et produkt af forskningen (output, frem for input)
iii. Indsamling kræver værktøjer
1. Kamera, båndoptager, spørgerskemaer etc.
iv. Seks typiske og ideelle former for data indsamling til ”primary data”
1. Deduktive observationer; ”eksperimentet”
2. Induktive observationer; ”Etnografisk studie”
3. Deduktive spørgsmål; ”survey questionnaire
4. Induktive spørgsmål; ”dybe interviewet”
5. Deduktiv tekst studie; ” kvantitativt indholds analyse af artikler’
6. Induktiv tekst studie; ”diskurs analyse”
v. Triangulation
1. At nærme sig det samme mål med forskellige midler (værktøjer)
d.
4. Forskningskriterier
a. King & Verba:
i. Målet er inferens
1. Deskriptive, og forklarende logiske slutninger baseret på empiri om verden
ii. Offentlig procedure (Replikation)
1. Empirien kan undersøges af andre, nye fordele eller ulemper kan afsløres
2. Man kan replikere andres fund
iii. Konklusioner er usikre
1. Per definition er inferens en uperfekt proces
iv. Indholdet er metode
5. Forskningsdesigns
a. Case study
i. En enhed analyseres, typisk meget intenst med mange observationer
b. Cross-sectional design (tværsnit undersøgelser)
i. Observationer på en eller flere variabel, samles over en række enheder på samme tid
c. Experimental design
i. Randomiseret og kontrollerede forsøg som bevidst er manipuleret af forskeren
ii. Manipulation af den uafhængige variabel(er)
iii. Fordele:
1. Hvis behandlingen er administreret før en posttest måling, på den afhængige variabel, og at den er registreret, er retningen for kausaliteten tydelig at fastslå.
2. Randomiseret udvælgelse sikrer, at kun den manipulerede uafhængige variabel skaber variation i gruppen.
3. Det mest kraftfulde værktøj til at skabe kontrol, og som kan etablere intern validitet af kausale sammenhæng
4. Data som er generet kan analyseres relativt simpelt, i forhold til hvilke forskelligheder der måles på kontrol og behandlings grupperne, og hvad der kan fortolkes kausalt.
iv. Ulemper:
1. Kan fastslå effekten af en faktor, men er mindre egnede til at beskrive hvorfor og hvordan en effekt er generet.
d. Large N study (komparativt studie)
i. Observationerne er fortaget over en større række enheder, typisk nationale undersøgelser, som bruges i komparativ politik, og i internationale relationer
e. Longitudinal design
i. Mange observationer på varible, samlet over tid på den samme enhed
f. Observational studies
i. Ikke-eksperimenterende studie, hvor man ikke manipulere. Man ”optager” variable værdi, mens de helt naturligt fremkommer
g. Pooled time series, cross-sectional design
i. Kombination af cross-sectional, og longitudinal design. Inkluderer panel studier, og gentagelse målinger.
h. Quasi experimental design
i. Ligesom eksperimentielt design, dog med den forskel at enhederne ikke er udvalgt randomiseret.
ii. Fordel:
1. Kraftfuld basis for at påstå kausale sammenhæng
iii. Ulemper:
1. Kompliceret fordi der skal kontrolleres for tredje variabel sammenhæng
2. Kan fastslå effekten af en faktor, men er mindre egnede til at beskrive hvorfor og hvordan en effekt er generet.
Eksperimentielt design:
Design elementer Styrker Svagheder
Bevidst manipulation af uafhængige variable Etablere den kausale retning (intern validitet) Mangel på bæredygtighed, pga. praktiske og/eller etiske grunde, for at studere mange vigtige spørgsmål

Upassende for studiet af handlinger, og manglende opmærksomhed på kausale mekanismer.

Upassende for en vurdering af komplekse sammenhæng

Kræver a priori viden om plausible uafhængige variable, og specifikke kausal modeller, som ikke er brugbare i generering af teori.

Tendere at genere påfaldende, reaktive målinger
Randomiseret udvælgelse til kontrol- og behandlings grupper Etablere jævnbyrdighed mellem enheder, beskytter imod indflydelsen af tredje variable (intern validitet) Mangel på bæredygtighed, pga. praktiske og/eller etiske grunde, for at studere mange vigtige spørgsmål

Ikke randomiseret udvælgelse af enheder, sted, og behandling Vanskeligt at generalisere fra prøven til populationen (eksterne validitet)

i. Research design
i. Et nøgle aspekt af forskningsprocessen der kredser rundt om den direkte eftersøgen af virkning af kausal inferens, som indbefatter fire kerne spørgsmål
1. Hvordan er enhederne udvalgt?
2. Hvordan er værdien på de(n) uafhængige variable tildelt?
3. Hvor mange enheder er der udvalgt?
4. Hvordan er sammenligninger organiseret? (tidsmæssigt og/eller rumligheden)
j. Small N study
i. Observationer foretaget over en række mindre enheder. Typisk er hver enhed behandlet som case study, således at flere observationer indenfor de enkelte enheder er fortaget.
Klassifikations kriterium Hoved optioner Disaggregate designs
Hvordan er værdien på de(n) uafhængige variable tildelt? Manipulation, randomiseret udvælgelse til treatment og kontrol grupper

Manipulation, ikke randomiseret udvælgelse

Naturlig Eksperiment (randomiseret)



Quasi eksperiment

Observatorisk
Hvordan er enhederne udvalgt?
Randomiseret(tilfældigt)

Med et formål (med vilje, eller tilfældigt) Repræsentativt

Typisk ud fra (mode, mean eller median) Hetrogent (ekstremt og typisk)
Hvor mange enheder er udvalgt? Hele populationen

Mange

Få

En Census

Stort N studie

Lille N studie

Case study
Hvordan er sammenligninger organiseret? (tidsmæssigt og/eller rumligheden)
Over enheder

Over tid Cross-sectional

Longitudinal

6. Kvalitativ metode
7. Analyse af kvalitative data
a. Grounded theory
i. Induktiv tilgang
1. Nedefra princippet -> afleder ny teori
ii. Deduktiv tilgang
iii. Hypotetisk deduktiv tilgang
iv. Åben kodning
v. Lukket kodning
vi. Akse kodning
8. Displays
a. Inklusionsreglen
i. Alle data der falder inden for den eller de kategoriske afgrænsninger (cellen i matricen), man udtaler sig om, skal medtages på det pågældende sted i displayet
b. Transparensreglen
i. Det skal være gennemskueligt, hvordan displayet er lavt. Dets akser og dimensioner skal være klart bestemt
c. Autencitetsreglen
i. Så vidt muligt skal man basere sit display på data i deres oprindelige form

Spørgsmålene kan være helt åndssvagt udformet, fx sådan at de på forhånd tager for givet, at respondenten mener det samme og opfatter verden på samme måde som den, der udformer spørgeskemaet. Eller sådan at respondenten slet ikke forstår spørgsmålet eller dets sammenhæng med undersøgelsen.

Svarmulighederne kan være udformet, så respondenten enten:
- ikke ANER, hvad han/hun skal svare (kan ikke se sammenhængen mellem spørgsmål og svarmuligheder)
eller
- alt for godt kan se, hvad spørgsmålsstillerne vil have, han/hun skal svare (ledende spørgsmål)

For at sikre, at alle spørgsmål ikke "peger i samme retning", og respondenten bare kommer i 'vane' med at sætte sit kryds det samme sted, er det en god idé at skifte mellem spørgsmål, der skal besvares hhv negativt og positivt.

Der er for få svarmuligheder. Mange mennesker kan hverken lide at give topkarakterer eller bundkarakterer. Derfor skal der ved vurderende spørgsmål helst være et ulige antal - og mindst 5 - svarmuligheder. Med mindre, det er binære spørgsmål, så man kan nøjes med svarmulighederne:
Ja - Nej - Ved ikke :)

Måske har dem, der udformer spørgeskemaet ikke lavet en ordentlige analyse, hvor de gør sige klart, hvad det EGENTLIG er, de vil undersøge, og hvad de EGENTLIG gerne vil have at vide? Så vil de ofte spørge i øst og vest. Og (til #1)selv om der efterfølgende laves ordentlige dataanalyser, hjælper det ikke, hvis der er indsamlet utilstrækkelige data at analysere på - eller hvis det er skod-data, der er indsamlet.

At stille gode spørgsmål er faktisk svært!
Prøv at se dig om her på studieportalen: Hvor ofte har du ikke været i tvivl om, hvad den, der stiller et spørgsmål i et forumindlæg, EGENTLIG har brug for at vide?
:)