Matematik

Mindste kvadraters metode

01. maj 2011 af x00 (Slettet) - Niveau: B-niveau

Heeej!

Jeg skal skrive SRO om mindste kvadraters metode, hvor jeg her bl.a. skal forklare hvad det er og udlede beviset. Mit problem er bare at jeg ikke forstår hvad det er og forstår meget LIDT af bevise! :S :S

Er der evt. nogen der har nogle noter om det (som skulle være lidt mere overskueligt end det på nettet)? eller nogen som kan forklare mig det på en simpel måde?

Håber nogen kan hjæælpe for er virkelig loost og skal helst snart i gang med opagevn! :( 


Brugbart svar (0)

Svar #1
01. maj 2011 af Walras

Der findes et utal af bøger i både statistik og økonometri omkring OLS (Ordinary Least Squares) eller på dansk "mindste kvadraters metode", så en tur på biblioteket (måske endda dit nærmeste universitets) ville være en idé.

Hvis du forestiller dig, at du har et datasæt med tværsnitsdata (cross-sectional data), vil de forskellige observationer alle variere fra hinanden (se billedet i linket). Vi formoder, at der er en vis sammenhæng imellem x og y, der beskrives ud fra en population regression function. Imidlertid kender vi ikke denne sammenhæng, men ud fra stikprøven vi har, er det muligt at estimere en sample regression function, der så at sige er vores bedste bud på den sande sammenhæng imellem x og y. 

OLS regression lægger en linie ind imellem de mange observationer, så afstanden fra linien til punkterne kvadreret er mindst mulig, dvs så linien ligger så tæt på alle punkterne som muligt. Grunden til, at det er nødvendigt at kvadrere, er, som du kan se, at nogle af afstandende er negative, andre er positive, og hvis der ikke kvadreredes ville afstandene således gå ud med hinanden.

Du må endelig spørge, hvis ovenstående ikke er klart. Det er helt grundlæggende for forståelsen af OLS. 

Motivationen for at bruge OLS som estimator er, at denne er den bedste lineære estimator - i fagsprog ofte blot kaldes BLUE (best lineær unbiased estimator). Det vil i praksis sige, at OLS er middelret således, at den i gennemsnit estimerer den sande værdi. OLS er samtidig konsistent, hvorfor variansen på estimatet mindskes, når antallet af observationer øges. Slutteligt er OLS efficient (dvs den bedste), når betingelsen om, at datasættet er homoskedastisk er opfyldt.

Der er en række betingelser på datasættet, der skal være opfyldt, før disse karakteristika er opfyldt for OLS - de såkaldte Gauss-Markov betingelser, men dem kan vi eventuelt gennemgå, hvis du synes ovenstående er "let"forståeligt.

Beviset kan laves på mange måder, så hvis vi skal hjælpe der, skal vi lige se, hvilket et du gerne vil lave.


Svar #2
01. maj 2011 af x00 (Slettet)

Problemet med at finde materiale er nok at det meste er på engelsk, og det er ikke lige mit skarpe fag :(

Mindste kvadraters metode går ud på at finde den linje, hvor kvadratet på den lodrette afstand mellem punkterne og linjen er mindst mulig. Der er to ting, der kan forekomme en smule underligt ved denne metode. 1) Hvorfor betragter man den lodrette afstand i stedet for blot afstanden, og 2) hvorfor tager man kvadratet på den lodrette afstand i stedet for blot den lodrette afstand? Det der ligger til grund for dette er at udregningerne bliver simplest, og man når frem til den pæneste formel på netop denne måde

Man kan også vælge at arbejde med afstanden frem for den lodrette afstand, med her bliver de ligninger, man skal løse vanskelige, og hvis man ikke tager kvadratet, løber man ind i problemer fordi (x-x0)2er differentiabel mht. x, mens x-x0 ikke er differentiabel i x=x0  . Derudover får løsningen nogle pæne statistiske egenskaber, hvis man betragter summen af kvadraterne på de lodrette afstande.  Grunden til, at det er nødvendigt at kvadrere, er, at nogle af afstandende er negative, andre er positive, og hvis der ikke kvadreredes ville afstandene således gå ud med hinanden.

Er det rigtigt forstået? :)


Brugbart svar (0)

Svar #3
01. maj 2011 af Walras

Jeg forstår ikke helt, hvad du mener med, at vi betragter den lodrette afstand frem for blot afstanden. Det er vel det samme. Hvis jeg forstår, hvad du mener, som dog ikke helt er det, du skriver, så mener du, at afstandene kan findes enten kvadreret eller som en numerisk værdi. Den kvadrerede metode er dog langt nemmere at regne med end den numeriske metode, hvorfor vi oftest vælger OLS.


Svar #4
01. maj 2011 af x00 (Slettet)

Beviset, Jeg skla udlede  denne formel: 

              n

f(a,b)=∑(axi+b-yi)2

           i=1

Det skal self ende med at jeg får følgende to formler ud:

a=(y2-y1)/(x2-x1) og b=y1-ax1  dvs. y=ax+b

Jeg skal gøre det ved partiel differentiering

Herudover skal jeg også bevise 

            n
f(a)=∑(axi-yi)2
           i=1                      altså at b=0

Her ska jeg komme frem til y=ax

Håber nogen kan hjælpe!


Svar #5
01. maj 2011 af x00 (Slettet)

Metoden går ud på at finde den linje, hvor kvadratet på den lodrette afstand mellem punkterne og linjen er mindst mulig. Dette gøres ved at lægge en linje ind imellem observationerne så linjen ligger så tæt på alle punkter som muligt
Grunden til, at det er nødvendigt at kvadrere, er, at nogle af afstandene er negative, andre er positive, og hvis der ikke kvadreredes ville afstandene således gå ud med hinanden.

Er dette mere korrekt og bedre formuleret? :)


Brugbart svar (0)

Svar #6
01. maj 2011 af Walras

Det er ikke så svært, som det måske lyder. Du skal minimere de kvadratiske afstande, og som altid minimeres/maksimeres f ved at differentiere med hensyn til variablene og så sætte de afledede lig 0.

Se eksempelvis vedlagte

Det kan gøres kortere, hvis du er skarp i dine sumregler, men ellers er det en noget langsommelig proces uden brugen af vektorer og matricer.

#5 Ja, det er korrekt.

Vedhæftet fil:Lineær regression.pdf

Svar #7
01. maj 2011 af x00 (Slettet)

 Jeg har ikke haft om vektorer og matricer og har kun haft meget lidt om sumregler :S

Det med at differentiere og sætte lig 0 forstår jeg godt :)


Brugbart svar (0)

Svar #8
01. maj 2011 af Walras

Så se den vedhæftede fil igennem, den kræver ikke kendskab til andet end partiel differentiation.


Svar #9
01. maj 2011 af x00 (Slettet)

I filen står der at der differentieres med hensyn til m.. er det a i ligningen y=ax+b? 


Brugbart svar (0)

Svar #10
01. maj 2011 af Walras

Ja, det er bare, fordi filen er gammel, så notationen er en smule anerledes. m svarer til a.


Svar #11
01. maj 2011 af x00 (Slettet)

Jeg forstår godt det inde i parentesen men forstår ikke hvorfor vi har -2xi?


Brugbart svar (0)

Svar #12
01. maj 2011 af Walras

Brug reglen for at differentiere en sammensat funktion..


Svar #13
01. maj 2011 af x00 (Slettet)

Er det + eller - 2xi?

Hvis jeg kigger på andre sider så står der nogen steder + og andre steder - ?


Brugbart svar (0)

Svar #14
01. maj 2011 af Walras

Det er, som det står, men det hele afhænger af, hvordan du definerer den kvadrerede afstand. Det er sådan set ligegyldigt, hvordan du gør, for det går alligevel ud senere i beregningerne, du skal bare sørge for at være konsistent.

Du kan således definere d=yi-(axi+b) eller som d=axi+b-yi uden at det ændrer på det fjerneste, da afstanden alligevel skal kvadreres og den afledede sidenhen skal sættes lig 0.


Svar #15
01. maj 2011 af x00 (Slettet)

Ja men jeg kan ikk se hvor vi får xi fra?


Brugbart svar (0)

Svar #16
01. maj 2011 af Walras

Det får du fra parentesen. Når du differentierer en sammensat funktion, differentierer du først den ydre med den indre fastholdt og ganger da den indre differentieret på. Den indre differentieret giver xi. Husk, at du differentierer med hensyn til m og ikke x.


Svar #17
01. maj 2011 af x00 (Slettet)

Altså jeg skal finde den indre og ydre funktion først og derefter differentiere dem? 


Brugbart svar (0)

Svar #18
01. maj 2011 af Walras

Det kan du gøre, om end det ikke er særlig "flydende".

En sammensat funktion differentieres som

(f(g(x))'=f'(g(x))g'(x)

I noten er f(x)=x^2 og g(x)=yi-mxi-b, så følger det, at f(g(x))=(yi-mxi-b), der differentieres f'(g(x))g'(x))=-2(yi-mxi-b)xi.


Svar #19
01. maj 2011 af x00 (Slettet)

Ok, Maaaange taak for hjælpen! 

Lige nu er jeg godt med og skal have skrevet noget ;)

Håber du eller nogen andre kan hjælpe hvis jeg går i stå igen :)


Brugbart svar (0)

Svar #20
03. maj 2011 af Walras

En mindre rettelse, der dog er væsentlig:

I noten er f(x)=x^2 og g(x)=yi-mxi-b, så følger det, at f(g(x))=(yi-mxi-b)^2, der differentieres f'(g(x))g'(x))=2(yi-mxi-b)(-xi).

Nu kan der sammenlignes direkte.


Forrige 1 2 Næste

Der er 29 svar til dette spørgsmål. Der vises 20 svar per side. Spørgsmålet kan besvares på den sidste side. Klik her for at gå til den sidste side.