알맹로그

data augmentation 입력 이미지를 알고리즘을 동원해서 인위적으로 확장. 회전시키거나 이동 등 미세한 변화로 데이터 개수 늘림 / crop이나 flip 할수도 있음 VGG 기본적인 CNN의 층을 16층이나 19층으로 심화 (VGG16 / VGG19) 3x3의 작은 필터를 사용하는 합성곱계층을 연속으로 거침 합성곱 계층을 2~4회 연속으로 풀링계층을 두어서 크기를 반씩 줄이고 마지막에는 affine계층을 통과해서 결과 출력 GoogLeNet 가로 세로 층이 모두 깊음 1x1 크기의 필터를 쓰는 합성곱 계층을 많이 씀, 1x1 합성곱 연산은 채널 쪽으로 크기를 줄이는 거라서 매개변수를 없애고 빠른 처리에 기여 가로 방향에 폭이 있는 이 구조를 인셉션 구조라고 부름 크기가 다른 필터랑 풀링을 여러개..

## CNN (Conv, Pooling 추가) ## 합성곱연산 ## 패딩 연산 수행 전에 입력데이터 주변 픽셀을 특정값(0, 1등)으로 채우는 것 폭 1짜리 패딩: 데이터 사방 1픽셀을 특정 값으로 채움 ## 스트라이드 필터 적용하는 간격 > 위 사진은 스트라이드 2 ## 출력크기 계산 ## 3차원 데이터 합성곱 ## 배치처리 → CNN 계층 사이를 흐르는 데이터는 4차원! ## 풀링 계층 : 가로 세로 방향이 공간을 줄이는 연산 - 윈도우에 따라 스트라이드 값이 변함 > 윈도우 2x2이면 스트라이드 2 , 윈도우 4x4이면 스트라이드 4 - 학습해야 할 매개변수 x > 대상 영역에서 최대값이나 평균을 취하는 처리라서 - 채널 수 변하지 않음 > 각 채널마다 독립적으로 계산 - 입력의 변화에 영향을 적게..

SGD 비등방성 함수(방향에 따라 성질(기울기)가 달라지는 함수)에서 탐색 경로가 비효율적 모멘텀 Momentum 속도 v, av는 물체가 아무런 힘을 받지 않을 때 하강시키는 역할 AdaGrad 동그라미: 행렬의 원소별 곱셈 1/h로 학습률 조정 > 학습률 감소가 매개변수의 원소마다 다르게 적용 개별 매개변수에 적응적으로 학습률을 조정하면서 학습 진행 Adam (Momentum + AdaGrad) ## 가중치 초깃값에 따른 은닉층 활성화값(활성화함수 출력값)의 변화 # sigmoid 각 층의 값이 0, 1에 치우쳐져 있고 역전파의 기울기 값이 점점 줄어들다가 사라짐 > 기울기 소실 다수의 뉴런이 거의 같은 값을 출력하고 있어서 뉴런을 여러개 만든 의미가 없음 > 표현력 제한 Xavier 초깃값의 표준편..

오차 제곱합 sigmoid ReLU 0이하 → 0 o.w. → x softmax 교차 엔트로피 오차 매개변수: 자동 하이퍼파라미터: 수동 확률적경사하강법 SGD: 무작위로 데이터 뽑아서 "확률적"