패스트캠퍼스 환급챌린지 51일차 : 딥러닝·인공지능 Signature 초격차 패지 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

 

강의 수강 시작

 

 

학습 목록

 

학습 인증샷

 

 

강의 수강 완료

 

https://bit.ly/4hTSJNB 

 

 

오늘은 메트릭 러닝에서 사용되는 다양한 손실 함수와 하드 네거티브 마이닝 개념에 대해 배웠다. 기존의 분류나 객체 탐지와 달리, 메트릭 러닝은 데이터 간의 거리를 기준으로 학습을 진행한다. 그래서 어떤 점 사이의 거리를 최소화하거나 최대화하는 함수, 즉 목적 함수를 통해 모델이 학습되며, 이 과정에서 어떤 샘플을 선택해서 학습에 사용하는지가 매우 중요하다.

하드 네거티브 마이닝은 앵커와 네거티브 샘플 간의 거리가 파지티브 샘플과의 거리보다 더 가까운 경우를 중심으로 학습을 시키는 방식이다. 하지만 이 방식을 그대로 적용하면 모든 피처 간 거리 차이를 0으로 만들게 되고, 결국에는 모델이 의미 없이 수렴해버리는 현상이 발생한다. 이를 모델 콜랩싱이라고 하며, 이렇게 되면 우리가 원하는 방식으로 모델이 학습되지 않고, 단순한 방향으로만 편향되게 된다. 즉, 로스를 줄이기 쉬운 방향으로만 학습이 진행되어 성능이 떨어진다.

이러한 문제를 해결하기 위한 방식이 세미 하드 네거티브 마이닝이다. 세미 하드 네거티브는 앵커와 파지티브보다 거리는 멀지만, 여전히 마진 내에 있는 네거티브 샘플을 선택해서 학습에 사용하는 방식이다. 이 방법은 모델 콜랩싱 문제를 피하면서도 네거티브 샘플을 점진적으로 파지티브와 분리시키는 효과가 있어서 가장 안정적으로 학습이 잘 이루어진다고 한다.

반면 이지 네거티브 마이닝은 앵커와 파지티브보다 훨씬 멀리 떨어진 샘플을 네거티브로 사용하는 방식이다. 이 경우 이미 거리가 충분히 멀기 때문에 학습할 수 있는 정보가 거의 없고, 모델 입장에서는 의미 있는 로스를 생성하지 못하게 된다. 그래서 실제 학습에는 별로 도움이 되지 않는 경우가 많다고 했다.

메트릭 러닝에서 자주 쓰이는 손실 함수로는 트리플릿 로스와 컨트라스티브 로스가 있다. 트리플릿 로스는 앵커, 파지티브, 네거티브 세 쌍을 구성해서, 파지티브는 더 가깝게, 네거티브는 일정 마진 이상 멀어지게 학습시키는 방식이다. 반면 컨트라스티브 로스는 절대적인 거리를 기준으로 두 샘플 간의 유사성과 비유사성을 동시에 고려하는 방식으로 학습한다.

오늘 배운 내용은 단순히 분류만 하는 것이 아니라, 데이터 간의 관계와 거리 구조를 바탕으로 더 정교한 학습을 할 수 있다는 점에서 흥미로웠다. 특히 하드, 세미 하드, 이지 네거티브처럼 학습 데이터를 고르는 방식만으로도 학습 성능이 크게 달라진다는 점이 새롭게 느껴졌고, 메트릭 러닝의 활용 폭이 꽤 넓다는 생각이 들었다. 이에 대해서 더 공부해서 잘 사용해야겠다.

 

 

https://bit.ly/4hTSJNB