본문 바로가기
반응형

전체 글104

확률적 경사하강법(SGD), 최적화 확률적 경사하강법(SGD)Preview이전의 배운 경사하강법은 전체 데이터를 모두 사용하여 기울기를 계산 → 많은 시간 필요이러한 단점을 보완하기 위해 확률적 경사하강법 사용 (데이터를 랜덤 샘플링하여 계산GD파라미터를 업데이트하기 위해 전체 데이터셋을 모델에 통과시키고손실 값을 가중치 파라미터로 미분하여 파라미터 업데이트→ 비효율적 (메모리 한계, 학습 속도 문제)SGD전체 데이터셋에서 랜덤 샘플링하여 모델에 통과시켜 손실값 계산→ 파라미터 업데이트비복원 추출전체 데이터셋의 샘플들이 전부 모델의 통과하는 것 : 에포크한 개의 미니배치를 모델에 통과 시키는 것 : 이터레이션아래 수식은 미니배치 크기를 k라고 할 때 이터레이션, 에포크 횟수, 관계 (데이터 크키 N)미니배치는 전체 데이터셋에서 랜덤 샘플링.. 2024. 5. 10.
[알고리즘] DFS, BFS에 대한 모든것 이고 싶어요 탐색 알고리즘 DFS, BFSDFS(Depth-First Search)깊이 우선 탐색이라고 부르며, 그래프에서 깊은 부분을 우선적으로 탐색하는 알고리즘시간복잡도는 O(N)그래프는 Node와 Edge로 표현그래프 탐색이란 하나의 노드를 시작으로 다수의 노드를 방문하는 것프로그래밍에서는 그래프를 인접행렬이나 인접리스트로 표현할 수 있음인접행렬 방식2차원 배열에 각 노드가 연결된 형태를 기록하는 방식연결되어 있지 않은 노드끼리는 무한의 비용이라고 작성INF = 99999999graph = [ [0, 7, 5], [7, 0, INF], [5, INF, 0] ]​인접리스트 방식모든 노드에 연결된 노드에 대한 정보를 차례대로 연결하여 저장연결 리스트라는 자료구조 이용graph = [[] for _ in range(.. 2024. 5. 1.
[cs231] SGD, SGD 모멘텀, AdaGrad, Adam 7강 Lecture7 Traning Neural NetworksContentsFancier optimizationRegularizationTransfer Learning(전이학습)SGD 방식의 문제SGD는 학습률이 고정되어있어 최적화가 비효율적임학습률이 변화할 수 있다면 처음에 큰 폭으로 이동하다가 최적해에 가까워질 수록 이동폭을 줄여서 안정적으로 수렴가능학습률이 변화할 수 있다면 처음에 큰 폭으로 이동하다가 최적해에 가까워질 수록 이동 폭을 줄여서 안정적으로 수렴할 수 있음SGD는 결국 local minima와 saddle point에 빠지기 쉽다(위 local minima, 아래 saddle point)경사가 완만하면 큰 폭으로 이동하는게 좋고, 경사가 가파를 때 천천히 이동하는게 좋음SGD Momentu.. 2024. 4. 29.
[DL] 클러스터링 클러스터링과 분류의 차이클러스터링 : 레이블 없음, 비지도 학습분류 : 레이블 있음, 지도학습클러스터링 응용 분야고객분할검색엔진이미지 분할차원 축소 : 인스턴스와 클러스터의 유사성 측정 → 인스턴스 피처 벡터를 → 유사성 벡터로 대체클러스터의 정의보편적인 정의는 없음 맥락 에 따라 결정클러스터링 알고리즘에 따른 종류특정 포인트 중심으로 유클리디안 거리 - Kmeans밀집되어있는 인스턴스들의 연속된 영영 - DBSCAN계층적인 클러스터 (HC)KMeans빠르고 효율적으로 클러스터링 가능한 알고리즘Lloyd가 제안각 덩이의 중심을 찾고 인스턴스를 가까운 덩이에 배정클러스터의 개수를 지정해줘야 함인스턴스의 레이블과 클러스터의 인덱스 혼동 주의!!! (비지도 학습)하드클러스터링 : 인스턴스를 단 하나의 클러스터.. 2024. 4. 25.
[도서] Washington Square 인물 관계도, 줄거리 *영어 교양 수업을 위한 정리글 입니다 [줄거리]캐서린과 모리스의 만남:부유한 의사인 오스틴 슬로퍼의 딸 캐서린은 파티에서 모리스 타운젠드를 만.. 2024. 4. 23.
[마이크로 프로세서] 레지스터, 명령어 Contents 레지스터 컴퓨터 명령어 레지스터 동작 레지스터는 메모리 계층의 최상위에 있음 시스템에서 가장 빠른 메모리 레지스터 용도에 따른 종류 누산기, 프로그램 카운터, 명령 레지스터, 인덱스 레지스터, 스택포인터, MBR, MAR 레지스터 전송(LOAD, STORE, MOVE) LOAD : 주기억 장치에서 레지스터로 데이터를 읽음 STORE : 레지스터에서 주기억 장치로 데이터 읽음 MOVE : 레지스터에서 레지스터로 데이터를 이동 명령어 형식 연산코드, 오퍼랜드, 피연산자 위치, 연산 결가 저장위치 등 정보로 구성 참고 사진 명령어 설계 기준 명령어 길이 명령어 형식의 공간 주소 필드의 비트 수 메모리의 기본단위 4바이트로 해야한다고 주장 → 2^32바이트 메모리 제안 30비트로 해야한다고 주장.. 2024. 4. 22.
반응형