반응형 Deep Learning8 [cs231] SGD, SGD 모멘텀, AdaGrad, Adam 7강 Lecture7 Traning Neural NetworksContentsFancier optimizationRegularizationTransfer Learning(전이학습)SGD 방식의 문제SGD는 학습률이 고정되어있어 최적화가 비효율적임학습률이 변화할 수 있다면 처음에 큰 폭으로 이동하다가 최적해에 가까워질 수록 이동폭을 줄여서 안정적으로 수렴가능학습률이 변화할 수 있다면 처음에 큰 폭으로 이동하다가 최적해에 가까워질 수록 이동 폭을 줄여서 안정적으로 수렴할 수 있음SGD는 결국 local minima와 saddle point에 빠지기 쉽다(위 local minima, 아래 saddle point)경사가 완만하면 큰 폭으로 이동하는게 좋고, 경사가 가파를 때 천천히 이동하는게 좋음SGD Momentu.. 2024. 4. 29. [DL] 클러스터링 클러스터링과 분류의 차이클러스터링 : 레이블 없음, 비지도 학습분류 : 레이블 있음, 지도학습클러스터링 응용 분야고객분할검색엔진이미지 분할차원 축소 : 인스턴스와 클러스터의 유사성 측정 → 인스턴스 피처 벡터를 → 유사성 벡터로 대체클러스터의 정의보편적인 정의는 없음 맥락 에 따라 결정클러스터링 알고리즘에 따른 종류특정 포인트 중심으로 유클리디안 거리 - Kmeans밀집되어있는 인스턴스들의 연속된 영영 - DBSCAN계층적인 클러스터 (HC)KMeans빠르고 효율적으로 클러스터링 가능한 알고리즘Lloyd가 제안각 덩이의 중심을 찾고 인스턴스를 가까운 덩이에 배정클러스터의 개수를 지정해줘야 함인스턴스의 레이블과 클러스터의 인덱스 혼동 주의!!! (비지도 학습)하드클러스터링 : 인스턴스를 단 하나의 클러스터.. 2024. 4. 25. [DL] L1, L2 규제와 차원 축소 리뷰 경사하강법이란? 비용함수를 최소화하기위해 반복해서 파라미터를 조정 경사 하강법의 기본 절차 파라미터 벡터 Θ에 대해 현재 그레디언트(기울기) 계산 그레디언트가 감소하는 방향으로 파라미터 벡터 Θ 조정 그레디언트가 0이 될 때까지 반복 cf. 처음, 파라미터 Θ는 임의의 초기 값으로 시작 학습 스텝의 크기를 학습률 이라고 하고, 학습 시간과 밀접한 관계 경사 하강법의 대표적인 예시 : BGD(배치경사하강법), SGD(통계적 경사하강법) 다항 회귀 비선형 데이터 학습을 위해 선형 모델을 사용 특성의 거듭제곱을 새로운 특성으로 추가 → 선형 모델 훈련 예시) 특성이 x하나고 차수 d = 2 이면 x를 [x, x^2]으로 확장 고차 다항 회귀를 적용하면 선형 회귀보다 훨씬 더 훈련 셋에 잘 맞춤 but, .. 2024. 4. 17. Windows 10에 CUDA, Pytorch 설치하기 1.설치 환경 윈도우 10 2. CUDA 설치하기 CUDA Toolkit 12.1 Downloads Get the latest feature updates to NVIDIA's proprietary compute stack. developer.nvidia.com 위 페이지 접속해서 아래와 같이 클릭후 .exe 파일 설치 다음과 같은 화면이 나옴 (경로설정) 설치가 끝나고 프롬프트에서 nvcc --version 명령어를 치면 정상적으로 cuda가 설치된 것을 알 수 있다. 3. Pytorch 설치하기 아래 사이트 접속 Start Locally Start Locally pytorch.org pip3 install torch torchvision torchaudio --index-url https://down.. 2024. 4. 11. 이전 1 2 다음 반응형
