패스트캠퍼스 환급챌린지 38일차 : 딥러닝·인공지능 Signature 초격차 패지 강의 후기
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
강의 수강 시
학습 인증샷
강의 수강 목록
강의 수강 완료
오늘은 adam에 대한 강의를 들었다. 이전에도 들어본 적이 있는 내용이었지만 이번에는 좀 더 체계적으로 정리해주는 느낌이었다. 처음에 개념에서 adam이 모멘텀과 rmsprop을 합친 것이라고 설명해주셨다. 말은 쉬운데 그게 무슨 뜻인지 사실 머릿속에서 잘 그려지지 않았다. 모멘텀은 과거의 정보를 얼마나 반영할지에 관련된 부분이고, rmsprop은 현재의 기울기를 얼마나 반영할지를 결정하는 방식이라고 했다. 그런데 그걸 어떻게 합친다는 건지, 실제로 계산에 어떤 영향을 주는지, 그 부분에서부터 머리가 하얘졌다. 그라디언트와 베타, 입실론 같은 용어가 나오기 시작하면서 점점 더 어렵게 느껴졌다. 아무래도 수학적인 부분에서 내가 많이 부족하기 때문에 그런 것 같다. 내가 수업을 제대로 이해하지 못하고 있다는 것을 깨닫는 순간 약간 충격을 받기도 했다. 분명 그래도 학교 수업으로 기계학습과 딥러닝 수업을 들었는데 처음 듣는 것도 아닌데 이렇게까지 못할 수도 있는 것인가라는 생각이 들었다. 수업이 어려운 건 아닌데 내가 따라가지 못하는 기분이 들었다. 강의에서 보여준 비교 그래프는 조금 도움이 되었다. SGD, momentum, NAG, adagrad, adadelta, rmsprop 같은 다양한 최적화 알고리즘을 한 눈에 볼 수 있었고, 각각의 특성이 어떤지 설명해주었다. rmsprop은 방향을 빠르게 바꾸는 특징이 있어서 갑작스러운 변화에 잘 반응한다는 점이 인상적이었다. 입실론 값이 작으면 값이 갑자기 튀는 현상이 생길 수 있다는 설명도 흥미로웠다. 그런 부분은 조금씩 이해되는 것 같았다. 아직 개념이 명확하게 잡히진 않았지만 오늘처럼 반복해서 듣다 보면 언젠가는 머릿속에서 그림이 그려지지 않을까 기대해본다. 나중에는 이러한 이론을 이해하는 것뿐만 아니라 내가 직접 코드를 작성해보면서 나만의 프로젝트를 하게 되는 날이 올 만큼 실력이 쌓는 날이 오면 좋을 것 같다.