[DL] L1, L2 규제와 차원 축소

리뷰

경사하강법이란?

• 비용함수를 최소화하기위해 반복해서 파라미터를 조정

경사 하강법의 기본 절차

1. 파라미터 벡터 Θ에 대해 현재 그레디언트(기울기) 계산
2. 그레디언트가 감소하는 방향으로 파라미터 벡터 Θ 조정
3. 그레디언트가 0이 될 때까지 반복

cf.

처음, 파라미터 Θ는 임의의 초기 값으로 시작

학습 스텝의 크기를 학습률 이라고 하고, 학습 시간과 밀접한 관계

경사 하강법의 대표적인 예시 : BGD(배치경사하강법), SGD(통계적 경사하강법)

다항 회귀

비선형 데이터 학습을 위해 선형 모델을 사용

특성의 거듭제곱을 새로운 특성으로 추가 → 선형 모델 훈련

예시) 특성이 x하나고 차수 d = 2 이면 x를 [x, x^2]으로 확장

고차 다항 회귀를 적용하면 선형 회귀보다 훨씬 더 훈련 셋에 잘 맞춤

but, 오버피팅 될 수 있음

L1, L2 규제

ML(특히 회귀문제) 에서 성능 측정 지표는 RMSE를 많이 사용, 이상치가 많으면 MAE 사용

비용함수로 RMSE 대신 MSE 활용하기도 함

L2 : 유클리디안 놈, 거리 측정 방식 중 하나 (절대값의 제곱)

L1 : 맨해튼 놈, 거리 측정 방식 중 하나 (절대값)

성능지표 : RMSE (L2), MAE (L1)

비용함수 : MSE(L2)

L2 규제와 릿지회귀 VS L1 규제와 라쏘회귀

L2 규제가 추가된 선형회귀 → 릿지 회귀

L1 규제가 추가된 선형회귀 → 라쏘 회귀

라쏘와 릿지 회귀는 선형 회귀의 단점을 보완해 범용성을 부여하기 위해 만들어진 도구들임

릿지 회귀

a가 증가할 수록 직선에 가까워짐, 분산 감소, 편향 증가

• 릿지회귀는 L2 규제를 사용하여 모델의 가중치가 너무 커지지 않도록 제한
• L2 규제는 가중치의 제곱값에 패널티를 부여하여 모든 특성이 모델에 동등하게 영향을 미치도록 함
• 최적화 과정에서 가중치의 크기를 가능한 작게 만들어서 모델 복잡도 줄이고 일반화 성능 향상
• 가중치들이 0에 가까워질 뿐 0이 되지는 않음

 

라쏘 회귀

덜 중요한 특성의 가중치 0 (가중치 제거), 자동으로 특성 선택 → 희소 모델 생성

• L1 규제 사용
• L1 규제는 가중치의 절대값에 패널티를 부여하여 덜 중요한 특성의 가중치를 0으로 만듬 → 중요한 특성이 무엇인지 선택 할 수 있는 효과 → 모델 해석력 좋아짐

특성이 많은데 그 중 일부분만 중요하면 라쏘

특성의 중요도가 전체적으로 비슷하다면 릿지가 좀더 괜찮은 모델 파라미터를 찾음

 

차원 축소

딥러닝에서 차원 축소는 고차원의 데이터를 저차원의 데이터로 변환하는 과정

이는 데이터의 복잡성을 줄이고, 계산 효율성을 높이며, 데이터의 시각화를 가능하게 하는 등의 이점

딥러닝 모델에서는 과적합을 방지하고 학습 성능을 향상시키기 위해 차원 축소 기법을 사용

 

PCA (Principal Component Analysis, 주성분 분석)

PCA는 가장 널리 사용되는 차원 축소 기법 중 하나

PCA는 데이터의 분산을 최대한 보존하면서 서로 직교하는 새로운 축을 찾아, 고차원 공간의 데이터를 저차원 공간으로 변환

'주성분'들은 원래 데이터의 분산을 최대한 포함하므로, 원래 데이터의 정보를 최대한 보존하는 효과

 

SVD (Singular Value Decomposition, 특이값 분해)

SVD는 행렬을 세 부분으로 분해하는 방법

차원 축소 외에도 행렬의 근사치를 구하거나 행렬의 고유값과 고유벡터를 찾는 등의 용도로 사용

행렬의 특이값 중 가장 큰 몇 개만을 선택해서, 원래의 행렬을 근사하는 방식

이 방식은 노이즈 제거나 압축 코딩 등에 유용하게 사용됩니다.

 

차원축소 후 원복을 할 수 있지만 PCA 투영 과정에서 일정량의 정보를 잃을 수 있음

→ 완전히 동일한 데이터셋으로 복구는 불가능

원본 데이터와 재구성된 데이터 사이의 평균 제곱 거리 : 재구성 오차

 

 

 

 

 

<Reference>

https://gooopy.tistory.com/66

https://velog.velcdn.com/images/ckh0824/post/46136fe7-ae1e-49e7-a2c7-3cfabd992ee6/image.PNG

https://otugi.tistory.com/127