학습데이터 부족현상 해결법, 전이학습(Transfer Learning)

학습데이터 부족현상 해결법, 전이학습(Transfer Learning)

 

전이학습이란?

- 학습 데이터가 부족한 분야의 모델 구축을 위해 데이터가 풍부한 분야에서 훈련된 모델을 재사용하는 머신러닝 학습 기법

머신러닝 모델 구축 시에 품질에 영향을 주는 큰 요소가 학습데이터의 양과 질입니다. 편향되지 않고 이상치, 결측치가 없는 풍부한 데이터를 바탕으로 한 학습모델은 좋은 성능을 보여줄 가능성이 높습니다.

 하지만 모든 분야에서 학습 데이터가 풍부한 것은 아닙니다. 학습 데이터의 부족은 곧 완전하지 않은 모델(Incomplete Model)로 이어질 수 밖에 없겠죠. 이러한 제약을 극복하기 위해 학습 방법 자체에 대한 연구, 즉 메타-학습에 관한 연구도 활발히 이뤄지고 있습니다.

 학습에 사용할만한 양질의 데이터가 충분히 확보되지 못한다면 다른 분야의 풍부한 데이터를 바탕으로 한 좋은 성능의 모델에서 일부 계층을 재활용하여 모델을 구축하는 방법을 고려해 볼 수 있습니다. 이러한 학습 기법이 바로 전이학습(Transfer Learnning) 입니다.

 

전이학습의 분류

- Target Data와 Source Data의 Lable 존재 유무에 따라 분류

Inductive Learning(귀납 학습)

- Labled Data 간 관계에 따라 학습

Tranductive Learning(변형 학습) 

- lable을 이용 target data에 맞게 변형

Self-taught Learning(자기교시 학습) 

- Unlabled Data를 Target Domain Data Lable에 따라 학습

Unsupervised Learning(자율 학습) 

- Unlabled Data간 학습

 

전이학습의 주요 학습 기법

Fine-tuned ConvNet 

- 미리 학습된 ConvNet의 마지막 Fully Connected Layer만 변경해 분류 실행

Pre-trained Model

- 미리 학습된 모델의 가중치를 새로운 모델에 적용

Domain Adaptation

- 풍부한 데이터를 바탕으로 훈련 시 도메인 구분 능력은 약하게 학습하여 Target Data 를 분류가능하도록 모델 구축

Layer Re-use

- 기존 모델의 일부 Layer를 재사용하여 부족 Data Domain 모델 구축에 활용

 

이 포스트는 IT토픽의 주요 내용과 핵심 키워드를 간략히 설명하는 것이 목적으로, 디테일한 내용에 대해서는 깊이 다루지 않습니다.

 

다른 글 함께 보기

2021/02/07 - [한 페이지 IT 토픽/빅데이터와 인공지능] - 모델의 성능을 높이기 위한 결측치(Missing Value) 처리 방법

2021/02/09 - [한페이지 토픽리뷰] - ROC Curve, 수신자 조작 특성 곡선(Receiver Operating Characteristic Curve)

2021/02/10 - [한 페이지 IT 토픽/빅데이터와 인공지능] - 정보의 홍수에서 살아남기, 패스트 데이터(Fast Data)

2019/02/01 - [한 페이지 IT 토픽/디지털 서비스 및 신기술] - 집적회로 한계 극복, 양자컴퓨터