[python] Transformer 연습해보기(4, 종료) - 실패 원인 복기

예전에 Transformer를 사용해보려고 하면서 

나만의 데이터로 학습해보려고 하다가 대차게 실패했었다.

 

HuggingFace에서 pretrained된 모델을 가져와서 사용해보려고 했는데

미리 학습된 모델을 이용해서 예측을 하려고 할 때

당연히 같은 형식의 데이터를 사용해야 하는데 (데이터 type이라던가.. )

그걸 제대로 이해를 못한 채 시작했던게 실패의 원인이었던 것 같다.

 

그래서 text, img 등등이 pretrained model을 사용하기 용이한 듯 하다. 

실제로 수치데이터로 학습한 모델보다도 언어모델, vison 모델 등이 많이 공유 되고 있다.

 

따라서 뭔가 자신의 데이터에 알맞은 transformer을 사용하기 위해서는

pretrained model은 높은 확률로 사용할 수 없을 것이고

모델을 직접 학습해야한다는 것을 알게 되었다.

 

 

당연하게 생각할지도 모르지만...

모든 경우, 모든 데이터에 대해서 HuggigFace에 의지하면 안되는구나 라고 알게 되었고,

먼저 Transformer에 대해서 이해를 하고 

처음부터 구현하기 어려운 경우  Transformer 패키지를 이용해서 

내 데이터에 적합하게 학습하는 방법을 채택하는게 좋을 것 같다고 생각했다.

 

그래서 앞으로는 Transformer 원리를 완벽 이해하기 위해서 기록하고 

최종적으로는 Transformer로 직접 데이터를 학습해 볼 수 있도록 하는것이 목표이다.

 

잘 할수 있을지는 모르겠지만..

죽어있는 이 Transformer 카테고리를 다시 살려야겠다!! ㅜ.ㅜ