회귀 모델의 기본 개념 및 종류와 특징에 대해 개략적으로 소개하는 자료입니다. https://brunch.co.kr/@gimmesilver/38 에 좀 더 자세한 설명글을 올려놓았습니다.

2. 
 𝑦 = 𝒉(𝒙 𝟏, 𝒙 𝟐, 𝒙 𝟑 𝒙 𝒌 𝜷 𝟏, 𝜷 𝟐, 𝜷 𝟑 𝜷 𝒌) + 𝜀
 ℎ()
 𝜀 𝜎2

 𝜀
 𝜀
 𝜀








3. 






4. 










5. 
 𝑓 𝑐𝑢 = 𝑐𝑓(𝑢)
 𝑓 𝑢 + 𝑣 = 𝑓 𝑢 + 𝑓(𝑣)

 𝑓 𝑥 = 𝑥
 𝑓 𝑐𝑢 = 𝑐 × 𝑢 = 𝑐𝑓 𝑢
 𝑓 𝑢 + 𝑣 = 𝑢 + 𝑣 = 𝑓 𝑢 + 𝑓(𝑣)
 𝑓 𝑥 = 𝑥2
 𝑓 𝑐𝑢 = (𝑐𝑢)2
= 𝑐2
𝑢2
≠ 𝑐𝑓 𝑢 = 𝑐𝑢2
 𝑓 𝑢 + 𝑣 = (𝑢 + 𝑣)2
≠ 𝑓 𝑢 + 𝑓(𝑣)


 𝑦 = 𝛽0 + 𝛽1 𝑥2

6. 
 𝑦 = 𝛽0 + 𝛽1 𝑥 + 𝛽2 𝑥2
+ 𝛽3 𝑥3
 𝑦 =
1
1+𝑒−(𝛽0+𝛽1 𝑥+𝛽2 𝑥2+𝛽3 𝑥3)
 𝑦 = 𝛽0 𝑥 𝛽1

 𝑦 =
𝛽1 𝑥
𝛽2+𝑥







7. 







8. 
 𝑦 = 𝛽0 + 𝑖=1
𝑝
𝛽𝑖 𝑥𝑖











9. 













10. 
 𝑦 = 𝛽0 + 𝛽1 𝑥 + 𝛽2 𝑥2
+ 𝛽3 𝑥3
+ ⋯


11. 
 𝑦 = 𝛽0 + 𝒇 𝟏 𝑥1 + 𝒇 𝟐 𝑥2 + 𝒇 𝟑 𝑥3 + ⋯ + 𝒇 𝒑 𝑥 𝑝 (𝑓: 𝑠𝑚𝑜𝑜𝑡ℎ 𝑓𝑢𝑛𝑐𝑡𝑖𝑜𝑛)


 𝑓1 𝑥 = 𝛽1 𝑥, 𝑓2 𝑥 = 𝛽2 𝑥2
, 𝑓3 𝑥 = 𝛽3 𝑥3
, …




12. 
 𝒈 𝒚 = 𝛽0 + 𝑖=1
𝑝
𝛽𝑖 𝑥𝑖 (𝑔: 𝑙𝑖𝑛𝑘 𝑓𝑢𝑛𝑐𝑡𝑖𝑜𝑛)







13. 


 ln
𝑝
1−𝑝
= 𝛽0 + 𝑖=1
𝑘
𝛽𝑖 𝑥𝑖 ⇒ 𝑝 =
𝑒(𝛽0+ 𝑖=1
𝑘 𝛽 𝑖 𝑥 𝑖)
1+𝑒
(𝛽0+ 𝑖=1
𝑘 𝛽 𝑖 𝑥 𝑖)


 𝛽
𝑝
1−𝑝
𝑒 𝛽
 𝑒 𝛽

 𝑒 𝛽
> 1 𝛽 > 0
𝑒 𝛽
< 1 𝛽 < 0

14. 
 𝑦𝑡 = 𝛽0 + 𝑖=1
𝑘
𝛽𝑖 𝒚 𝒕−𝒊 + 𝑒𝑡




 𝑒𝑡

 𝑒𝑡
 𝑒𝑡 = 𝜇 + 𝑖=1
𝑘
𝜃𝑖 𝑒𝑡−𝑖 + 𝜖 𝑡



15. 



 argmin
𝛽
(𝜀𝑖)2
 argmin
𝛽
|𝜀𝑖|


16. 




17. 

 argmin
𝛽
𝜀𝑖
2
 argmin
𝛽
𝜀𝑖
2
+ 𝝀 𝜷 𝒌
𝟐
 argmin
𝛽
𝜀𝑖
2
+ 𝝀 |𝜷 𝒌|
 argmin
𝛽
𝜀𝑖
2
+ 𝝀 𝟏 𝜷 𝒌
𝟐
+ 𝝀 𝟐 |𝜷 𝒌|








18. 
 𝑦𝑡 = 𝛽0 + 𝑖=1
𝑘
𝛽𝑖 𝑪𝒊 , (𝐶𝑖: 𝑖 )




19. 





20. 






 𝜆 𝑡
 𝜆 𝑡 = lim
𝑑𝑡→0
Pr(𝑡≤𝑇<𝑡+𝑑𝑡)
𝑑𝑡∙𝑆(𝑡)
= 𝑦



21. Regression
model
Linear
Non-linear
GLM
Robust
Survival
regression
Univariate
MultivariateLasso/
Ridge
PCR / PLS
Auto-
regression
회귀 계수 결합 형태
종속 변수 개수
다중 공선성 문제
아웃라이어 문제
종속 변수 특성
Simple
Multiple
독립 변수 개수
Polynomial
GAM
독립 변수와
종속 변수 관계
Quantile

22. Regression
model
LinearNon-linear
UnivariateMultivariate
Auto-
regressive
Simple Multiple
GLM
GAM
Lasso/
Ridge
PCR /
PLS
Robust
SUR,
VAR,
Panel,
…
DNN, CNN,
RNN, …
ARMA,
ARCH, …
Logistic
regression
Polynomial
regressionQuantile
Ordinal
regression
Poisson
regression

23. 









