학습데이터 부족현상 해결법, 전이학습(Transfer Learning)

Prologue

 머신러닝 모델 구축 시에 품질에 영향을 주는 큰 요소가 학습데이터의 양과 질입니다. 편향되지 않고 이상치, 결측치가 없는 풍부한 데이터를 바탕으로 한 학습모델은 좋은 성능을 보여줄 가능성이 높습니다.

 하지만 모든 분야에서 학습 데이터가 풍부한 것은 아닙니다. 학습 데이터의 부족은 곧 완전하지 않은 모델(Incomplete Model)로 이어질 수 밖에 없겠죠. 이러한 제약을 극복하기 위해 학습 방법 자체에 대한 연구, 즉 메타-학습에 관한 연구도 활발히 이뤄지고 있습니다.

 학습에 사용할만한 양질의 데이터가 충분히 확보되지 못한다면 다른 분야의 풍부한 데이터를 바탕으로 한 좋은 성능의 모델에서 일부 계층을 재활용하여 모델을 구축하는 방법을 고려해 볼 수 있습니다. 이러한 학습 기법이 바로 전이학습(Transfer Learnning) 입니다.

 

전이학습이란?

- 학습 데이터가 부족한 분야의 모델 구축을 위해 데이터가 풍부한 분야에서 훈련된 모델을 재사용하는 머신러닝 학습 기법

학습데이터 부족을 해결하기 위한 풍부한 데이터 기반 학습모델의 전이

 

전이학습의 분류

Target Data의 Lable 유무와 Source Data의 Lable 유무에 따라 전이학습 모델 분류

- Target Data와 Source Data의 Lable 존재 유무에 따라 분류

Inductive Learning(귀납 학습)

- Labled Data 간 관계에 따라 학습

Tranductive Learning(변형 학습) 

- lable을 이용 target data에 맞게 변형

Self-taught Learning(자기교시 학습) 

- Unlabled Data를 Target Domain Data Lable에 따라 학습

Unsupervised Learning(자율 학습) 

- Unlabled Data간 학습

 

전이학습의 주요 학습 기법

Fine-tuned ConvNet 

- 미리 학습된 ConvNet의 마지막 Fully Connected Layer만 변경해 분류 실행

Pre-trained Model

- 미리 학습된 모델의 가중치를 새로운 모델에 적용

Domain Adaptation

- 풍부한 데이터를 바탕으로 훈련 시 도메인 구분 능력은 약하게 학습하여 Target Data 를 분류가능하도록 모델 구축

Layer Re-use

- 기존 모델의 일부 Layer를 재사용하여 부족 Data Domain 모델 구축에 활용

 

이 포스트는 IT토픽의 주요 내용과 핵심 키워드를 간략히 설명하는 것이 목적으로, 디테일한 내용에 대해서는 깊이 다루지 않습니다.

 

다른 글 함께 보기

2021/02/07 - [한 페이지 IT 토픽/빅데이터와 인공지능] - 모델의 성능을 높이기 위한 결측치(Missing Value) 처리 방법

2021/02/09 - [한페이지 토픽리뷰] - ROC Curve, 수신자 조작 특성 곡선(Receiver Operating Characteristic Curve)

2021/02/10 - [한 페이지 IT 토픽/빅데이터와 인공지능] - 정보의 홍수에서 살아남기, 패스트 데이터(Fast Data)

2019/02/01 - [한 페이지 IT 토픽/디지털 서비스 및 신기술] - 집적회로 한계 극복, 양자컴퓨터

728x90
  • 네이버 블러그 공유하기
  • 네이버 밴드에 공유하기
  • 페이스북 공유하기
  • 카카오스토리 공유하기

댓글을 달아 주세요

">
  1. thumbnail
    BlogIcon 내인생의PLUS

    퍼갑니다

    (AI용어)전이 학습Transfer Learning(data량이 부족할 때 쓰는 방법 -
    https://economiceco.tistory.com/m/5954