[머신러닝] 모델 학습 방법과 일반화 성능

저번 글에서, 머신러닝은 컴퓨터를 이용한 통계학이라고 설명했다.

그 중 지도학습(supervised learning)은 데이터가 입력 데이터와 출력 데이터가 같이 존재하는 상황에서 학습시키는 것이다. 지도학습 중 기본적인 회귀(regression)에 대해 지난 글까지 통계학, 머신러닝 입장에서 살펴보았다.

>>> 2020/02/02 - [머신러닝] Gradient descent (경사하강법)

[머신러닝] Gradient descent (경사하강법)

>>> 2020/01/14 - [머신러닝] 인공지능과 머신러닝이란, 머신러닝의 종류

[머신러닝] 인공지능과 머신러닝이란, 머신러닝의 종류

 

이번 글에서는 머신러닝에서 데이터에 맞는 모델을 찾는 과정과 일반화 성능에 대해 알아보겠다.

 

---

학습(learning), Model fitting

model fitting의 예 (출처 : https://www.originlab.com/index.aspx?go=Products/Origin/DataAnalysis/CurveFitting)

 

머신러닝에서 학습(learnig), 혹은 model fitting이라고도 하는데 이는 내가 가지고 있는 데이터를 가장 잘 설명하는 모델을 찾는 과정을 의미한다. 

 

예를 들어서 지난 글에서도 다뤘던 회귀(regression)를 생각해보면,

우리의 목표는 데이터(입력 데이터 = X, 출력 데이터 = Y)를 가장 잘 설명하는 함수 f(X)를 찾는 것이다. 출력 데이터와 입력 데이터를 연결하는 함수 f(X)를 학습한다면(추정한다면) 앞으로 생성되는 데이터에 대한 예측이 가능하고, 데이터를 해석할 수 있다.

 

 

---

모델 학습 방법과 일반화 성능

 

그렇다면 데이터를 가장 잘 설명하는 모델을 어떻게 만들며, 그 모델이 얼마나 데이터를 잘 설명하는지 측정할 수 있을까?

 

먼저 모델을 만드는 과정은 다음과 같다.

  1. 우리가 갖고 있는 데이터를 training data와 test data로 나누어 준다. 주로 8:2나 7:3으로 나눈다.

  2. 초기 모델에 training data를 넣고 학습시킨다.

  3. Test data로 잘 맞는지 검증한다.

  4. 모델의 일반화 성능을 측정한다.

  5. 결과를 개선하기 위해 모델을 수정한다.

 

 

Q1. 우리가 갖고 있는 데이터를 training data와 test data로 나누어주는 이유는 무엇일까? 

만약 갖고 있는 데이터를 몽땅 다 모델을 fitting하는데에 다 써버리면 모델의 성능을 측정하기 힘들기 때문이다. 우리가 학습시킨 데이터로 모델의 성능을 측정하면 완벽히 예측할 수 있기 때문에 의미가 없다. 따라서 학습에 사용하지 않은 데이터를 가지고 모델의 성능을 측정해야 하고, 그렇게 측정한 성능을 일반화 성능이라고 한다. 

 

Q2. 어떤 모델이 좋은 모델?

예측이 목적이라면, 실제 정답과 예측 값의 차이(loss, cost, error)를 최소화 하는 모델이 가장 좋은 모델이다. 또한 확률을 추정하는 경우에는 가능성(likelihood)을 최대화해서 구한다. 전자는 계속 예시로 들어서 이해가 갈텐데, 후자는 다음에 로지스틱 회귀나 확률 모델을 설명할 때 다시 이야기 하겠다.

 

다음 글에서는 과적합(overfitting)과 과소적합(underfitting)에 대해서 Capacity, Bias-Variance Trade off를 바탕으로 설명하도록 하겠다.