최소제곱법(Least Squares Method)

**최소제곱법(Least Squares Method)**은 회귀 분석에서 데이터들과 모델(직선 또는 곡선) 사이의 오차를 최소화하여 가장 적합한 함수를 찾아내는 수학적 기법입니다.

머신러닝이나 통계학에서 선형 회귀 모델을 훈련시킬 때 가장 기본이 되는 원리이기도 합니다.

---

1. 핵심 원리: '오차의 제곱'을 최소로!

데이터 점들이 흩어져 있을 때, 이 점들의 추세를 가장 잘 나타내는 직선($y = ax + b$)을 긋고 싶다고 가정해 봅시다.

1. 잔차(Residual) 계산: 실제 데이터 값($y$)과 모델이 예측한 값($\hat{y}$) 사이의 거리(오차)를 구합니다.
2. 제곱하는 이유: 오차에는 양수(+)와 음수(-)가 섞여 있습니다. 단순히 더하면 서로 상쇄되어 오차의 크기를 정확히 측정할 수 없으므로, 모든 오차를 **제곱($^2$)**하여 양수로 만듭니다. (또한, 큰 오차에 더 큰 페널티를 주는 효과도 있습니다.)
3. 최소화: 이 제곱된 오차들의 합(Sum of Squared Errors, SSE)이 **최소가 되는 기울기($a$)와 절편($b$)**을 찾습니다.

---

2. 수학적 표현

최소화하려는 목적 함수(손실 함수)는 보통 다음과 같이 표현됩니다.

$$J(a, b) = \sum_{i=1}^{n} (y_i - (ax_i + b))^2$$

 

이 식을 $a$와 $b$에 대해 각각 편미분하여 그 값이 $0$이 되는 지점을 찾으면, 오차를 최소로 만드는 최적의 파라미터를 구할 수 있습니다.

---

3. 왜 최소제곱법을 쓸까요?

• 수학적 명확성: 미분을 통해 최적의 해를 단 한 번에 계산할 수 있는 공식(Normal Equation)이 존재합니다.
• 통계적 효율성: 데이터의 오차가 정규분포를 따른다는 가정하에, 최소제곱법으로 구한 추정치는 매우 신뢰할 수 있는 성능을 보입니다.
• 직관적 이해: 시각적으로 데이터의 중심을 가로지르는 가장 '균형 잡힌' 선을 찾는 과정이라 이해하기 쉽습니다.

---

4. 한계점

• 이상치(Outlier)에 민감함: 오차를 '제곱'하기 때문에, 전체 경향에서 크게 벗어난 데이터 하나가 있으면 직선이 그쪽으로 확 끌려가 버립니다.
• 복잡한 관계의 한계: 선형적인 관계가 아닌 경우 성능이 떨어질 수 있습니다.

---

요약하자면

최소제곱법은 **"실제값과 예측값의 차이를 제곱해서 다 더했을 때, 그 값이 가장 작아지도록 선을 긋는 방법"**입니다. 이 방법 덕분에 우리는 데이터로부터 "공부 시간이 늘어나면 성적이 얼마나 오를 것인가?" 같은 예측 모델을 만들 수 있는 것이죠.