반응형 차원축소1 [DL] L1, L2 규제와 차원 축소 리뷰 경사하강법이란? 비용함수를 최소화하기위해 반복해서 파라미터를 조정 경사 하강법의 기본 절차 파라미터 벡터 Θ에 대해 현재 그레디언트(기울기) 계산 그레디언트가 감소하는 방향으로 파라미터 벡터 Θ 조정 그레디언트가 0이 될 때까지 반복 cf. 처음, 파라미터 Θ는 임의의 초기 값으로 시작 학습 스텝의 크기를 학습률 이라고 하고, 학습 시간과 밀접한 관계 경사 하강법의 대표적인 예시 : BGD(배치경사하강법), SGD(통계적 경사하강법) 다항 회귀 비선형 데이터 학습을 위해 선형 모델을 사용 특성의 거듭제곱을 새로운 특성으로 추가 → 선형 모델 훈련 예시) 특성이 x하나고 차수 d = 2 이면 x를 [x, x^2]으로 확장 고차 다항 회귀를 적용하면 선형 회귀보다 훨씬 더 훈련 셋에 잘 맞춤 but, .. 2024. 4. 17. 이전 1 다음 반응형
