이론 배경

데이터가 주어졌을 때 이에 가장 근접한 근사 함수를 찾는 방법을 말합니다. 데이터와 근사 함수의 차의 제곱의 합이 최소가 되도록 하는 최소제곱회귀법이 가장 일반적이고, 구하기 쉽습니다. 엑셀에서도 그래프를 그릴 때 손쉽게 회귀함수를 구할 수 있죠.

먼저, 기저함수를 정합니다. 예상되는 근사 함수를 기저 함수의 선형결합으로 나타내도록 합니다.

$u(x) = a_1 u_1(x) + a_2 u_2(x) +\dots + a_r u_r = \sum^r_{j=1} a_j u_j$

우리는 선형회귀법을 할 것이므로 기저함수는 $u_1 (x) = 1, u_2(x) = x$ 가 되겠죠.

편차의 제곱의 합은 수식으로 다음과 같이 나타내어집니다.

$S=\sum^n_{i=1}e^2_i = \sum^n_{i=1} [f_i - \sum^r_{j=1} a_j u_j(x_j)]^2$

이 값을 최소로 하는 계수 a를 구하기 위해서는 각 계수로 미분한 값이 0이 되도록 정하면 됩니다.

$\frac{\partial S}{\partial a_k} = (-2) \sum^n_{i=1} u_k(x_k)[f_i - \sum^r_{j=1} a_j u_j(x_i)] = 0$

이것은 r개의 연립방정식으로, 행렬로 나타내면 다음과 같습니다.

$\mathbf{U} \mathbf{U}^T \mathbf{a} = \mathbf{U}\mathbf{f}$

이 식에서 a를 구할 수 있고, 이로서 근사함수 u를 구하게 됩니다.