반응형 IT/Transformer 공부6 이론) Transformer 차근차근 이해하기(2) - Input Embedding ▼ 이전글 보기2024.12.18 - [IT/Transformer 공부] - 이론) Transformer 차근차근 이해하기 (1) - 구조 익히기 이론) Transformer 차근차근 이해하기 (1) - 구조 익히기Transformer를 안다 라고 자신있게 얘기 할 수 있도록Transformer의 모든 단계를 이해하고싶어서 각 단계를 차근차근 살펴보고 왜 이런 작업을 하는지, 어떤 계산을 하는지 알아볼 것이다. 깊게 들어dongdu-blog.tistory.com위 글에서 대략적인 구조를 확인 할 수 있다. 1. Transformer의 구조이번 게시글에서는 이 그림에서 첫번째 단계인 Input Embedding에 대해서 설명하도록 하겠다. 2. Embedding이란사람이 쓰는 단어, 이미지 등을 기계.. 2024. 12. 23. 이론) Transformer 차근차근 이해하기 (1) - 구조 익히기 Transformer를 안다 라고 자신있게 얘기 할 수 있도록Transformer의 모든 단계를 이해하고싶어서 각 단계를 차근차근 살펴보고 왜 이런 작업을 하는지, 어떤 계산을 하는지 알아볼 것이다. 깊게 들어가기 앞서서 이번 게시글에는 정말 간단하게 초보자의 시선에서 본Transformer의 구조를 살펴볼 것이다. 1. Transformer의 구조 제일 쉽게 볼 수 있는 Transformer 구조도이다.자세한건 모르더라도 화살표를 통해 간단하게 파악해보자. 왼쪽 부분에서는 Input데이터를 받아 각종 단계를 거쳐 오른쪽으로 넘겨준다오른쪽 부분에서는 Output데이터와 왼쪽으로부터 받은 데이터를 가지고각종 단계를 거쳐 최종 확률을 만들어낸다고 해석할 수 있겠다. 위 과정을 데이터 용어로 치환해보면 입력.. 2024. 12. 18. [python] Transformer 연습해보기(4, 종료) - 실패 원인 복기 예전에 Transformer를 사용해보려고 하면서 나만의 데이터로 학습해보려고 하다가 대차게 실패했었다. HuggingFace에서 pretrained된 모델을 가져와서 사용해보려고 했는데미리 학습된 모델을 이용해서 예측을 하려고 할 때당연히 같은 형식의 데이터를 사용해야 하는데 (데이터 type이라던가.. )그걸 제대로 이해를 못한 채 시작했던게 실패의 원인이었던 것 같다. 그래서 text, img 등등이 pretrained model을 사용하기 용이한 듯 하다. 실제로 수치데이터로 학습한 모델보다도 언어모델, vison 모델 등이 많이 공유 되고 있다. 따라서 뭔가 자신의 데이터에 알맞은 transformer을 사용하기 위해서는pretrained model은 높은 확률로 사용할 수 없을 것이고모델을 직.. 2024. 12. 18. [python] Transformer 연습해보기(3) - 실제 데이터 적용해보기 (Time Series) Part.1 Transformer 연습 세번째 포스팅이다! 요즘 여유가 생겨서 다시 이어서 연습해보려고 한다. https://dongdu-blog.tistory.com/9 [python] Transformer 연습해보기(2) - Tutorial 따라해보기 Transformer 연습 두번째 포스팅이다. 첫번째 포스팅을 9월 21일에 작성했던데...... 어느새 한달이 훌쩍 지나버렸다. 그때 당시에는 코드 작성 업무가 마무리되는 단계였어서 좀 한가할 줄 알고.. 글 dongdu-blog.tistory.com 저번 게시글에서는 hugging face의 홈페이지에 있는 튜토리얼을 따라해 봤었다. 이번에는 내 데이터를 가지고 직접 구현해보는 시간을 갖겠다! 1. 데이터 준비하기 간단한 시계열 예측을 해보기 위해서, 기온 예측.. 2023. 11. 14. [python] Transformer 연습해보기(2) - Tutorial 따라해보기 Transformer 연습 두번째 포스팅이다. 첫번째 포스팅을 9월 21일에 작성했던데...... 어느새 한달이 훌쩍 지나버렸다. 그때 당시에는 코드 작성 업무가 마무리되는 단계였어서 좀 한가할 줄 알고.. 글 써보려한건데 어림도없지 문서작업으로 너무 바빴어서 블로그 할 시간이 없었다 ㅠㅠ 다시 잠깐.. 이번주에는 짬이 날것 같아서! 튜토리얼을 실행해보고 또 시간이 되면 실제 데이터로 실습해보겠다. 실제 데이터를 이용해서 바로 해보려 했으나.. 어떻게 사용해야 하는지 감이 안와서 튜토리얼부터 찾아서 해보기로 했다. 1. 튜토리얼 코드 확인하기 https://github.com/huggingface/transformers GitHub - huggingface/transformers: 🤗 Transforme.. 2023. 10. 31. 이전 1 2 다음 반응형
