추가 정리

회귀

https://brunch.co.kr/@gimmesilver/18

회귀모델에서 ‘회귀'는 ‘잔차(residual: 데이터의 실측치와 모델의 예측치 사이의 차이. 즉 회귀식에서 오차항에 대한 관측치)가 평균으로 회귀하는 것'을 의미합니다. 그리고 이런 맥락에서 회귀 모델은 ‘잔차가 평균으로 회귀하도록 만든 모델'이라고 정의할 수 있습니다. 이렇게 정의를 내리고 나면 아래 문장은 부정확하다는 것을 알 수 있습니다.

‘회귀 모델링은 오차의 합이 최소가 되도록 만드는 작업입니다’

선형회귀 모델

선형 회귀 모델은 ‘회귀 계수(regression coefficient)를 선형 결합으로 표현할 수 있는 모델을 말합니다. 즉, 독립변수가 일차식이냐 이차식이냐 로그합수식이냐가 아니라 우리가 추정할 대상인 파라미터가 어떻게 생겼느냐의 문제입니다.

예를 들어 첫번째 식의 경우 독립변수인 x를 기준으로 생각하면 x^2, x^3 때문에 비선형이라고 생각하기 쉽지만, 앞서 언급했듯이 회귀모델은 선형성은 x가 아니라 회귀계수인 베타0, 베타1, 베타2, 베타3를 기준으로 생각하는 것이기 때문에 이 기준으로 보면 선형회귀식입니다. 게다가 위 식들은 모두 ‘선형성'에 직접적으로 관련되지 않는 변수인 x와 y를 적절히 변환할 경우 모두 선형 회귀식으로 표현이 가능합니다.

비선형회귀 모델

비선형 모델은 데이터를 어떻게 변형하더라도 파라미터를 선형 결합식으로 표현할 수 없는 모델을 말한다.

만약 회귀 모델의 목적이 해석이 아니라 예측에 있다면 비선형 모델은 대단히 유연하기 때문에 복잡한 패턴을 갖는 데이터에 대해서 모델링이 가능합니다. 그래서 충분히 많은 데이터를 갖고 있어서 variance error를 충분히 줄일 수 있고 예측 자체가 목적인 경우라면 비선형 모델은 사용할만한 도구이다. 기계학습 분야에서는 실제 이런 비선형 모델을 대단히 많이 사용하고 있는데 가장 대표적인 것인 소위 딥러닝이라고 부르는 뉴럴 네트워크이다.

Clustering

Reinforcement Learning

The most important feature distinguishing reinforcement learning from other types of learning is that it uses training information that evaluates the actions taken rather than instructs by giving correct actions.