본문 바로가기
반응형

분류 전체보기104

확률적 경사하강법(SGD), 최적화 확률적 경사하강법(SGD)Preview이전의 배운 경사하강법은 전체 데이터를 모두 사용하여 기울기를 계산 → 많은 시간 필요이러한 단점을 보완하기 위해 확률적 경사하강법 사용 (데이터를 랜덤 샘플링하여 계산GD파라미터를 업데이트하기 위해 전체 데이터셋을 모델에 통과시키고손실 값을 가중치 파라미터로 미분하여 파라미터 업데이트→ 비효율적 (메모리 한계, 학습 속도 문제)SGD전체 데이터셋에서 랜덤 샘플링하여 모델에 통과시켜 손실값 계산→ 파라미터 업데이트비복원 추출전체 데이터셋의 샘플들이 전부 모델의 통과하는 것 : 에포크한 개의 미니배치를 모델에 통과 시키는 것 : 이터레이션아래 수식은 미니배치 크기를 k라고 할 때 이터레이션, 에포크 횟수, 관계 (데이터 크키 N)미니배치는 전체 데이터셋에서 랜덤 샘플링.. 2024. 5. 10.
[알고리즘] DFS, BFS에 대한 모든것 이고 싶어요 탐색 알고리즘 DFS, BFSDFS(Depth-First Search)깊이 우선 탐색이라고 부르며, 그래프에서 깊은 부분을 우선적으로 탐색하는 알고리즘시간복잡도는 O(N)그래프는 Node와 Edge로 표현그래프 탐색이란 하나의 노드를 시작으로 다수의 노드를 방문하는 것프로그래밍에서는 그래프를 인접행렬이나 인접리스트로 표현할 수 있음인접행렬 방식2차원 배열에 각 노드가 연결된 형태를 기록하는 방식연결되어 있지 않은 노드끼리는 무한의 비용이라고 작성INF = 99999999graph = [ [0, 7, 5], [7, 0, INF], [5, INF, 0] ]​인접리스트 방식모든 노드에 연결된 노드에 대한 정보를 차례대로 연결하여 저장연결 리스트라는 자료구조 이용graph = [[] for _ in range(.. 2024. 5. 1.
[cs231] SGD, SGD 모멘텀, AdaGrad, Adam 7강 Lecture7 Traning Neural NetworksContentsFancier optimizationRegularizationTransfer Learning(전이학습)SGD 방식의 문제SGD는 학습률이 고정되어있어 최적화가 비효율적임학습률이 변화할 수 있다면 처음에 큰 폭으로 이동하다가 최적해에 가까워질 수록 이동폭을 줄여서 안정적으로 수렴가능학습률이 변화할 수 있다면 처음에 큰 폭으로 이동하다가 최적해에 가까워질 수록 이동 폭을 줄여서 안정적으로 수렴할 수 있음SGD는 결국 local minima와 saddle point에 빠지기 쉽다(위 local minima, 아래 saddle point)경사가 완만하면 큰 폭으로 이동하는게 좋고, 경사가 가파를 때 천천히 이동하는게 좋음SGD Momentu.. 2024. 4. 29.
[DL] 클러스터링 클러스터링과 분류의 차이클러스터링 : 레이블 없음, 비지도 학습분류 : 레이블 있음, 지도학습클러스터링 응용 분야고객분할검색엔진이미지 분할차원 축소 : 인스턴스와 클러스터의 유사성 측정 → 인스턴스 피처 벡터를 → 유사성 벡터로 대체클러스터의 정의보편적인 정의는 없음 맥락 에 따라 결정클러스터링 알고리즘에 따른 종류특정 포인트 중심으로 유클리디안 거리 - Kmeans밀집되어있는 인스턴스들의 연속된 영영 - DBSCAN계층적인 클러스터 (HC)KMeans빠르고 효율적으로 클러스터링 가능한 알고리즘Lloyd가 제안각 덩이의 중심을 찾고 인스턴스를 가까운 덩이에 배정클러스터의 개수를 지정해줘야 함인스턴스의 레이블과 클러스터의 인덱스 혼동 주의!!! (비지도 학습)하드클러스터링 : 인스턴스를 단 하나의 클러스터.. 2024. 4. 25.
반응형

티스토리툴바