본문 바로가기

기록6

이론) Transformer 차근차근 이해하기(2) - Input Embedding ▼ 이전글 보기2024.12.18 - [IT/Transformer 공부] - 이론) Transformer 차근차근 이해하기 (1) - 구조 익히기 이론) Transformer 차근차근 이해하기 (1) - 구조 익히기Transformer를 안다 라고 자신있게 얘기 할 수 있도록Transformer의 모든 단계를 이해하고싶어서 각 단계를 차근차근 살펴보고 왜 이런 작업을 하는지, 어떤 계산을 하는지 알아볼 것이다. 깊게 들어dongdu-blog.tistory.com위 글에서 대략적인 구조를 확인 할 수 있다. 1. Transformer의 구조이번 게시글에서는 이 그림에서 첫번째 단계인 Input Embedding에 대해서 설명하도록 하겠다. 2. Embedding이란사람이 쓰는 단어, 이미지 등을 기계.. 2024. 12. 23.

이론) Transformer 차근차근 이해하기 (1) - 구조 익히기 Transformer를 안다 라고 자신있게 얘기 할 수 있도록Transformer의 모든 단계를 이해하고싶어서 각 단계를 차근차근 살펴보고 왜 이런 작업을 하는지, 어떤 계산을 하는지 알아볼 것이다. 깊게 들어가기 앞서서 이번 게시글에는 정말 간단하게 초보자의 시선에서 본Transformer의 구조를 살펴볼 것이다. 1. Transformer의 구조 제일 쉽게 볼 수 있는 Transformer 구조도이다.자세한건 모르더라도 화살표를 통해 간단하게 파악해보자. 왼쪽 부분에서는 Input데이터를 받아 각종 단계를 거쳐 오른쪽으로 넘겨준다오른쪽 부분에서는 Output데이터와 왼쪽으로부터 받은 데이터를 가지고각종 단계를 거쳐 최종 확률을 만들어낸다고 해석할 수 있겠다. 위 과정을 데이터 용어로 치환해보면 입력.. 2024. 12. 18.

[python] Transformer 연습해보기(4, 종료) - 실패 원인 복기 예전에 Transformer를 사용해보려고 하면서 나만의 데이터로 학습해보려고 하다가 대차게 실패했었다. HuggingFace에서 pretrained된 모델을 가져와서 사용해보려고 했는데미리 학습된 모델을 이용해서 예측을 하려고 할 때당연히 같은 형식의 데이터를 사용해야 하는데 (데이터 type이라던가.. )그걸 제대로 이해를 못한 채 시작했던게 실패의 원인이었던 것 같다. 그래서 text, img 등등이 pretrained model을 사용하기 용이한 듯 하다. 실제로 수치데이터로 학습한 모델보다도 언어모델, vison 모델 등이 많이 공유 되고 있다. 따라서 뭔가 자신의 데이터에 알맞은 transformer을 사용하기 위해서는pretrained model은 높은 확률로 사용할 수 없을 것이고모델을 직.. 2024. 12. 18.

[기록] 이상탐지(지도, 분류) - 불균형 데이터 연습(3)(H2O AutoML, Load Model, Predict, Confusion Matrix, AUCPR) 지난번에 작성했었던 불균형 데이터 연습 코드를 이어서 써보도록 하겠다.[기록] 이상탐지(지도, 분류) - 불균형 데이터 연습(1) ( OverSampling, UnderSampling, Standardscaler, H2O autoML)[기록] 이상탐지(지도, 분류) - 불균형 데이터 연습(2)(H2o AutoML, Predict, Confusion Matrix) 위 링크에서 이어집니다. 1. 개요이번엔 학습을 다 하고나서 저장했던 모델을 불러와서 예측하는 부분과 Aucpr까지 따로 구해보는 코드를 작성해보도록 하겠다.지난 게시글과 전반적으로 비슷하게 가지만 저장된 모델을 load하는 부분이 추가 됐다고 보면 된다.학습 할 때 학습만 일괄로 진행해 뒀을때 나중에 Model을 Load해서 예측해야하는 .. 2024. 11. 11.

[기록] 이상탐지(지도, 분류) - 불균형 데이터 연습(2)(H2O AutoML, Predict, Confusion Matrix) 지난번에 작성했었던 불균형 데이터 연습 코드를 이어서 써보도록 하겠다.[기록] 이상탐지(지도, 분류) - 불균형 데이터 연습(1) ( OverSampling, UnderSampling, Standardscaler, H2O autoML) 위 링크에서 이어집니다. 3. 코드 (이어서)# 이전 게시글과 이어집니다.# Run Automlimport h2ofrom h2o.automl import H2OAutoMLh2o.init()# Start h2o servertrain_h2o = h2o.H2OFrame(X_train_df) # train_data는 pandas DataFrametest_h2o = h2o.H2OFrame(X_test_df) # test_data는 pandas DataFrametotal_h.. 2024. 11. 1.

이전 1 2 다음

티스토리툴바