self supervised learning 0703

agnostic 불가론자의

model agnostic 모델 불가지론:  모델에 구애 받지 않고 독립적으로 해석할 수 있음(a모델이나 b모델 등등 다들 모델에 모두 적용이 가능함을 의미)

 

 

자기지도학습은 self-prediction과 contrastive learning으로 나뉜다. 그리고 데이터의 일부분을 가지고 다른 일부분을 예측한다.

 

-self prediction: 하나의 데이터 샘플에서 하나의 부분을 가지고 다른 부분을 예측하는 작업이다.

• 예를 들어서 시계열처럼 하나의 스텝에서 다음 스텝을 예측하는것이 하나의 부분을 가지고 다른 부분을 예측하는 것이다
• 최근에는 일부를 무작위로 마스킹하고 이것을 예측하는 방식이 많이 사용된다.
• autoregressive generation 자가 회귀 생성
• masked generation 
• innate relationship prediction
• hybrid self

 

 

-constrastive learning: batch안에서 데이터 샘플들 사이의 관계를 예측하는 작업이다. 임베딩 공간 안에서 유사한 데이터들은 거리가 가깝게 아닌 것들은 멀게 한다. 유사한지 아닌지 판별하는 데이터 포인트를 ahchor앵커라고 한다.

• anchor:현재 기준이 되는 데이터 샘플을 의미한다.
• positive pair:앵커와 상관관계가 높은 데이터를 의미
• view:앵커와 같은 의미를 가지는 데이터샘플(황서윤(가명)을 음성과 이미지로 표현한다면 그 음성과 이미지는 같은 정보를 나타낸다.)
• negative pair:앵커와 상관관계가 낮은 데이터를 의미
• 대조학습은 샴 네트워크로부터 발전하였다. 이것은 하나의 사물에 대해서 다양한 관점으로 보면서 각각의 관점들에 대해서 공통의 정보를 추출해내는 것이다.  예를 들어서 원래의 이미지와 노이즈가 추가된 이미지 사이에서 공통된 정보는 사물에 대한 정보이니 그 부분만 학습하는 것이다.