Matematik

ridge og lasso regularization

22. maj 2015 af camilla_jensen (Slettet) - Niveau: Universitet/Videregående

Hej

Jeg er pt. ved at lære noget om lasso regression, og mine kilder er lidt uenige om der skal være en konstant ganget på udtrykket eller ej. Jeg kan ikke gennemskue hvor koefficienten kommer fra, men min hovedkilde har den med (som en selvfølge), og jeg vil derfor gerne vide, hvor den kommer fra.

$\hat{\beta}_{lasso}} = \underset{\beta}{\arg\min} \left\lbrace \sum_{i=1}^N \left( y_{i} - \beta_0- \sum_{j=1}^p x_{ij}}\beta_j \right)^2 + \lambda \sum_{j=1}^p \mid \beta_j \mid \right\rbrace$

eller

$\hat{\beta}_{lasso}} = \underset{\beta}{\arg\min} \left\lbrace \frac{1}{2}\sum_{i=1}^N \left( y_{i} - \beta_0- \sum_{j=1}^p x_{ij}}\beta_j \right)^2 + \lambda \sum_{j=1}^p \mid \beta_j \mid \right\rbrace$ .

Jeg har også set andre tilfælde, hvor likelihooden er delt med antal observationer N, men det kan jeg heller ikke gennemskue. Eksempelvis i (14) side 8 i http://www.jstatsoft.org/v33/i01/paper

Jeg håber nogen kan hjælpe

Mvh

Camilla

Brugbart svar (0)

Svar #1
22. maj 2015 af Keal (Slettet)

Løsningen til et optimeringsproblem ændres ikke når man ganger objektivfunktionen med positiv konstant.

Den halve er udelukkende til for at få de afledede til at se lidt pænere ud (så man slipper for faktoren 2 når man differentierer).

Svar #2
22. maj 2015 af camilla_jensen (Slettet)

er det af samme grund der er indsat et N i linket?

Skriv et svar til: ridge og lasso regularization

Du skal være logget ind, for at skrive et svar til dette spørgsmål. Klik her for at logge ind.
Har du ikke en bruger på Studieportalen.dk? Klik her for at oprette en bruger.