머신 러닝: 회귀 모델

본 강의는 가장 기본적인 회귀 모델인 데이터에 선을 피팅하는 것에서부터 시작합니다. 데이터의 단일 일변량 특성의 예측을 형성하기 위한 이 단순 모델을 ‘단순 선형 회귀’라고 부릅니다. 본 모듈에서는 높은 수준의 회귀 작업을 설명한 다음 이와 같은 개념을 단순 선형 회귀 사례를 통하여 전문화합니다. 폐쇄형 해와 경사 하강이라는 반복적인 최적화 알고리즘을 모두 사용하여 단순 회귀 모델을 형식화하고 모델을 데이터에 피팅하는 방법을 배웁니다. 이 적합 함수를 기반으로 예상된 모델 매개변수 및 형태 예측을 해석합니다. 또한 외부 관측치에 대한 적합의 민감도를 분석합니다. 면적을 통해 주택 가격을 예측하는 사례 연구의 맥락에서 이 모든 개념을 검토합니다.

단순 선형 회귀를 넘어서는 다음 단계는 데이터의 다중 특성이 예측을 형성할 때 사용되는 ‘다중 회귀’를 고려하는 것입니다. 보다 구체적으로 본 모듈에서는 단일 변수(예: '면적')와 관측된 응답(예: '주택 매매가') 사이 보다 복잡한 관계의 모델을 구축하는 방법을 배웁니다. 이때 데이터에 다항을 피팅하거나 응답 값의 계절적 변화를 포착하는 등의 작업이 포함됩니다. 또한 여러 입력 변수(예: '면적', '방 개수', '화장실 개수')를 통합하는 방법도 배웁니다. 그다음 이와 같은 모든 모델이 선형 회귀 프레임워크 내에서 여전히 다중 ‘특성’을 사용하여 변환하는 방법을 설명할 수 있습니다. 이 다중 회귀 프레임워크 내에서 데이터에 모델을 피팅하고, 예상된 계수를 해석하며, 예측을 형성할 수 있습니다. 또한 다중 회귀 모델을 피팅하기 위한 경사 하강 알고리즘도 구현합니다.

이와 같은 모델의 매개변수 추정을 위한 선형 회귀 모델과 알고리즘에 대해 배웠으니 이제 새 데이터 예측에 여기서 고려한 방법을 얼마나 잘 수행하고 있는지 평가할 수 있습니다. 또한 가능한 모델 중 가장 성능이 좋은 모델을 선택할 수 있습니다. 본 모듈은 모델 선택 및 평가의 중요한 주제를 다루고 있습니다. 이와 같은 분석의 이론적 측면과 실제적 측면을 모두 검토합니다. 먼저 예측의 ‘손실’을 측정하는 개념을 살펴보고 이를 통해 학습, 검정 및 일반화 오차를 정의합니다. 이와 같은 오차 측정의 경우 모델 복잡도에 따라 오차가 어떻게 달라지고 예측 성능에 대한 유효성 평가를 구성할 때 오차가 어떻게 사용되는지 분석합니다. 이는 머신 러닝의 기본인 편향-분산 트레이드오프에 대한 중요한 논의로 이어집니다. 마지막으로 먼저 모델 중에서 선택한 다음 선택한 모델의 성능을 평가하는 방법을 고안합니다. 본 모듈에 설명된 개념은 이번 강의에서 다루는 회귀 설정을 훨씬 뛰어넘는 모든 머신 러닝 문제의 핵심입니다.

모델 복잡도가 증가함에 따라 모델의 성능이 어떻게 변화하는지 살펴보았으며, 복잡한 모델이 훈련 데이터에 대해 과적합해지는 잠재적 문제를 설명할 수 있습니다. 이 모듈에서는 이 문제를 자동으로 처리하기 위한 매우 간단하지만 아주 효과적인 기술을 살펴보겠습니다. 이 방법을 ‘릿지 회귀’라고 합니다. 복잡한 모델에서 시작하지만 훈련 데이터에 대한 적합도 측정은 물론 과적합 함수로부터 해의 편향을 크게 하는 항까지 통합하는 방식으로 모델을 피팅합니다. 이를 위해 과적합 함수의 증상을 살펴보고 이를 사용하여 수정된 최적화 목적 함수에 쓸 정량적 측정값을 정의합니다. 릿지 회귀 목적 함수에 피팅하기 위해 폐쇄형 및 경사 하강 알고리즘을 모두 도출합니다. 이와 같은 형태는 다중 회귀를 위해 도출한 기존 알고리즘에서 약간 수정된 형태입니다. 과적합을 방지하는 편향의 강도를 선택하기 위해 ‘교차 검증’이라는 일반적인 방법을 살펴봅니다. 교차 검증 및 경사 하강을 모두 구현하여 릿지 회귀를 피팅하고 정규화 상수를 선택합니다.