반응형 pytorch3 [python] Transformer 연습해보기(3) - 실제 데이터 적용해보기 (Time Series) Part.1 Transformer 연습 세번째 포스팅이다! 요즘 여유가 생겨서 다시 이어서 연습해보려고 한다. https://dongdu-blog.tistory.com/9 [python] Transformer 연습해보기(2) - Tutorial 따라해보기 Transformer 연습 두번째 포스팅이다. 첫번째 포스팅을 9월 21일에 작성했던데...... 어느새 한달이 훌쩍 지나버렸다. 그때 당시에는 코드 작성 업무가 마무리되는 단계였어서 좀 한가할 줄 알고.. 글 dongdu-blog.tistory.com 저번 게시글에서는 hugging face의 홈페이지에 있는 튜토리얼을 따라해 봤었다. 이번에는 내 데이터를 가지고 직접 구현해보는 시간을 갖겠다! 1. 데이터 준비하기 간단한 시계열 예측을 해보기 위해서, 기온 예측.. 2023. 11. 14. [python] Transformer 연습해보기(2) - Tutorial 따라해보기 Transformer 연습 두번째 포스팅이다. 첫번째 포스팅을 9월 21일에 작성했던데...... 어느새 한달이 훌쩍 지나버렸다. 그때 당시에는 코드 작성 업무가 마무리되는 단계였어서 좀 한가할 줄 알고.. 글 써보려한건데 어림도없지 문서작업으로 너무 바빴어서 블로그 할 시간이 없었다 ㅠㅠ 다시 잠깐.. 이번주에는 짬이 날것 같아서! 튜토리얼을 실행해보고 또 시간이 되면 실제 데이터로 실습해보겠다. 실제 데이터를 이용해서 바로 해보려 했으나.. 어떻게 사용해야 하는지 감이 안와서 튜토리얼부터 찾아서 해보기로 했다. 1. 튜토리얼 코드 확인하기 https://github.com/huggingface/transformers GitHub - huggingface/transformers: 🤗 Transforme.. 2023. 10. 31. [python] Transformer 연습해보기(1) - 가상환경 설정 작년쯤에 학교 ipp인턴십 프로그램을 하면서 Transformer에 대해서 처음 알게 되었었다. 그리고 나름 ppt 만들어서 논문 리뷰를 해봤는데 태어나서 처음으로 논문을 읽고 ppt에 정리하고 발표해 봤던 경험이기도 했고 업무랑 같이 병행했어서 준비가 미흡했었고 제대로 이해도 못 한 채 리뷰를 했었던 것 같다. 그 이후 두세번 정도 제대로 원리를 이해해 볼까 했었는데, 미루고 미루다보니 ㅎㅎ 1년이 그냥 지나가버렸다! 그래서 시간적 여유가 있을 때 천천히 짬을 내서 공부해보려고한다. Transformer는 self-attention 매커니즘을 기반으로 작동한다. 문맥을 파악할 수 있다. BERT와 GPT등과 같은 자연어 처리모델의 기반 아키텍쳐이다. 이론과 내부 구조 및 원리에 대해서는 천천히 공부해나.. 2023. 9. 21. 이전 1 다음 반응형
