회귀 분석(LinearRegression model)

1. 회귀란?

회귀는 숫자 예측을 할 때 사용하는 방법이다.

예를 들어, 집의 크기(입력)를 보고 집값(출력)을 예측하는 것처럼, 숫자를 뽑아내는 문제를 풀 때 회귀를 쓴다.

 

즉, 회귀 분석은 주어진 입력 데이터(특징)를 바탕으로 연속적인 출력 값을 예측하는 기법으로, 독립 변수와 종속 변수 간의 선형 관계를 가정한다.

2. 선형 회귀(Linear Regression)란?

선형 회귀는 가장 간단한 회귀 방법이다.

데이터를 보고 직선을 그어서, 이 직선을 따라가면서 결과를 예측하는 방식이다.

• 쉽고 기본적이기 때문에 처음에 시도해보기 좋다.
• 데이터를 직선으로 설명할 수 있을 때 잘 맞아떨어진다.(입력과 출력 간의 관계가 선형)
• 다른 모델보다 빠르고 간단해서 처음 학습이 빠르고 과적합(overfitting)의 위험이 적다. 별로 성능이 안 좋다면 그때 더 복잡한 모델로 넘어가는 것!
• 선형 회귀는 각 특성(feature)의 가중치를 쉽게 해석할 수 있어서, 어떤 특성이 결과에 더 큰 영향을 미치는지 명확히 알 수 있어 해석 용이하다고 볼 수 있다.

3. 다른 회귀 모델들과 비교

LinearRegression 모델은 단순하면서도 회귀 문제에서 좋은 성능을 보일 수 있는 기본 모델이지만, 아래와 같은 다양한 회귀 모델이 존재한다.

• Ridge/Lasso 회귀: 데이터에 잡음이 많거나 과적합 문제가 있을 때 규제를 추가하여 모델을 단순화하는 방법.
• Polynomial 회귀: 선형 관계가 아닌 복잡한 비선형 관계를 처리하는 회귀 기법.
• Decision Tree 회귀: 비선형 데이터에 적합하며, 분기를 통해 데이터를 예측하는 회귀 기법.

각 모델마다 장단점이 있으므로, 프로젝트 요구사항과 데이터 특성에 따라 적절한 모델을 선택할 수 있어야겠다.