Side 2 - matematikken bag lineær regression

#20

Det drejer sig om at bestemme  konstanterne a og b i den lineære model   y = ax + b  ud fra et datasæt {x_i,y_i} således, at konstanterne minimerer kvadratsummen

        S(a,b) = ∑ (ax_i + b - y_i)²

hvor jeg for nemheds skyld har udeladt grænserne på summationstegnet, fra i = 1 til i = n, hvor n er antallet af datapunkter i datasættet. Minimum for S(a,b) vil antages i et stationært punkt for funktionen S(a,b), dvs. der skal gælde

       ∂S/∂a = 2·∑ (ax_i + b - y_i)·x_i = 0    og   ∂S/∂b = 2·∑ (ax_i + b - y_i) = 0 .

Vi får altså ligningssystemet

        a·∑ x_i² + b·∑ x_i = ∑x_i·y_i       og     a·∑x_i + b·n = ∑ y_i ,

der er et lineært ligningssystem med to ligninger i a og b. Dette ligningssystem løses let, for eksempel ved determinantmetoden. Hvis man indfører middelværdierne

        <x> = (1/n)·∑x_i    og    <y> = (1/n)·∑ y_i

ser man let, at den sidste ligning kan skrives

        a·<x> + b = <y> ,

så når a er bestemt, finder man umiddelbart b ved

        b = <y> - a·<x>

mange tak for svaret.. min lærer vil dog gerne have at metoden der blev vist i afsnittet for kvadratsummer er den samme måde hvorpå minimum for b skal bestemmes i afsnittet med lineær regression, dvs. at gange parenteserne ud osv. dog synes jeg ikke at få den til at gå op nemlig...

#22

Se din anden tråd, hvor du også kører et spm. om dette, eller løs det lineære ligningssystem som beskrevet ovenfor.

jeg forstår ikke helt metoden nemlig.. (den beskrevet ovenfor)

#24

Hvad forstår du ikke i metoden? Forstår du ikke, at (a,b) skal være et stationært punkt for funktionen S(a,b) for at der kan være tale om et minimum?

Nej, det er Mere det med determinantmetoden. Kunne jeg måske prøve at sende dig mit forsøg på at løse opgaven ved samme fremgangsmåde med kvadratsummer lidt senere, da jeg synes det er en metode vi har haft mere om..

#26

Forstår du ikke, hvordan man løser et lineært ligningssystem?

Nej, ikke helt..

#28

Man skal løse ligningssystemet

        a₁₁·a + a₁₂·b = b₁
        a₂₁·a + a₂₂·b = b₂

der har løsningen

        a = (b₁·a₂₂ - b₂·a₁₂) / (a₁₁·a₂₂ - a₁₂·a₂₁)

        b = (a₁₁·b₂ - a₂₁·b₁) / (a₁₁·a₂₂ - a₁₂·a₂₁)

hvor udtrykkene for koefficienterne a₁₁, a₁₂, a₂₁, a₂₂, og b₁, b₂ kan aflæses i #21.

#15 fik jeg aldrig helt forstået..

#30

Hvad forstår du ikke i #15, eller er det snarere #13?

Kan ikke se hvorfor n skal ganges med middelværdien?

#32

Leddet er jo     ∑ⁿ_i=1   x · y . Som forklaret er det n led hver af formen x · y , dvs. i alt  n·(x · y) .