전이학습은 중요한 머신러닝의 패러다임이다.
why?
-새로운 문제에 기존의 존재하는 지식,모델,그리고 파리미터들을 어떻게 적용할지에 대해서 연구하기 때문
-기존의 것과 새로운 것간의 유사성과 연결성을 찾는다면, 새로운 것에 대한 학습 과정은 더 효과적이고 효율적이기 때문
-핵심은 그들의 유사성(similarity)이다.
유사성(similarity)가 중요한 이유?
-기존의 지식과 새로운 지식간의 유사성이 존재한다면, 학습 과정을 좀 더 단단하게 하는 방법이 될 수 있기 때문입니다.
Xi Shi와 Dong Shi이야기
-Xi라는 아주 예쁘고 인기있는 여인이 있었습니다. Dong은 반대로 아주 못생겼습니다. Dong은 그녀의 아름다움을 질투하여 항상 흉내내었습니다. Xi는 어느날 병원에 가야할 정도록 가슴에 통증이 있었습니다. 그리고 그녀는 약을 먹고 정원에 앉아있었습니다. 그녀는 너무 아파서 눈썹까지 찡그렸습니다. Dong은 Xi가 아픈지 모르고 그저 눈을 찡그리고 있는 것을 보았습니다. 그래서 그녀를 흉내내려고 정원에서 똑같은 표정으로 않아있었습니다. Dong의 모습을 본 사람들은 너무 기겁을 하여 주변에 가까이도 못갔습니다.
위의 이야기에서 말하는 바
-Xi와 대비되게 Dong은 못생기게 태어났습니다. 즉, 유사성이 있기 어려웠습니다. 그러므로 Dong이 Xi를 따라해도 실패하였습니다.
전이학습의 출발점
-전이 학습은 교육학과 심리학에서 출발했습니다. 흔히 Learning Transfer라고 심리학자들에게 불렸습니다.
-Learning Transfer는 하나의 학습과정이 다른 것에도 영향을 준다는 것을 시사합니다.
-이는 우리 일상에 자연스럽게 일어납니다.
-예로 배드민턴을 배우면 테니스 혹은 장기를 배우면 체스를, 자전거를 배우면 오토바이를 등 이와 관련 전략 혹은 요령을 배웁니다.
-두개의 유사한 지식 혹은 경험은, 기존의 것은 새로운 것에 전이를 줄수 있으며 새로운 것을 배우는 과정에서 이점이 있습니다.
전이학습은 기존의 것과 새로운 것의 데이터 유사성을 이용해서 새로운 문제를 푸는데 목표로 한다.
| 전통적 기계학습 | 전이학습 | |
| 데이터분포 | 독립적이고 동일하게 분(i.i.d) | iid가 아니여도 |
| 데이터 양 | 거대한 양 | 적어도 됨 |
| 모델 | 매 작업마다 훈련 | 작업간 모델 전파 |