손실, 비용, 목적 함수

1. 손실 함수(Loss Function)란?
   • 손실 함수는 각 개별 샘플(데이터 포인트)에 대한 오차(실제값 - 예측값)를 측정하는 함수
   • 모델이 각 샘플에 대해 얼마나 잘못 예측했는지를 나타냄
   • 손실 함수의 평균이 비용 함수가 됨
2. 비용 함수(Cost Function)란?
   • 비용 함수는  머신러닝 모델이 예측한 결과와 실제 값 사이의 전체 데이터에 대한 평균적인 오차를 측정하는 함수
   • 손실 함수 값의 평균을 구하는 함수라고 볼 수 있음
   • 머신러닝 모델이 비용 함수를 최소화하도록 학습(최적화) 됨
3. 목적 함수(Objective Function)란?
   • 목적 함수는 머신러닝 모델이 최적화해야 하는 최종적인 목표 함수
   • 비용 함수 또는 손실 함수 자체가 목적 함수가 될 수 있음
   • 목적 함수는 최소화(Minimization) 또는 최대화(Maximization)할 수 있음

---

주요 비용 함수 종류

비용 함수는 회귀와 분류에 따라 다르게 사용

 

회귀 문제에서 사용되는 비용 함수

비용 함수	특징
평균 제곱 오차 (MSE)	가장 일반적인 손실 함수, 큰 오차에 민감
평균 절대 오차 (MAE)	단위를 같게함
허버 손실 (Huber Loss)	이상치가 있을 때 강인함
로그 코사인 손실 (Log-Cosh Loss)	MSE처럼 부드러우면서도 이상치에 덜 민감

 

분류 문제에서 사용되는 비용 함수

비용 함수	특징
이진 크로스 엔트로피	이진 분류에서 사용
다중 크로스 엔트로피	다중 분류에서 사용
스파스 크로스 엔트로피	클래스 수가 많을 때 최적화
힌지 손실	SVM에서 사용

 

---

비용 함수 최적화 (경사 하강법 사용)

머신러닝 모델은 비용 함수를 최소화하는 방향으로 학습함

이를 위해 경사 하강법 등의 최적화 알고리즘을 사용

 

최적화 과정

1. 모델이 예측값을 생성
2. 비용 함수를 계산 (예: MSE)
3. 비용 함수가 최소가 되는 방향으로 파라미터 업데이트
4. 반복하면서 최적의 파라미터를 찾음