반응형 skiprows1 [데이터 전처리] 크기가 큰 csv파일 One hot encoding 시 메모리 부족 회피하는법 크기가 큰 csv를 처리하다가 자꾸 메모리가 터져서이거 문제 해결에만 약 3주를 버렸다.뭘 해도 터지는데 인터넷에 따로 해결 방법이 안나와서진짜 멘탈 다터지고 그냥 사람아닌 짐승 상태로 지냈었다... 지금은 일정부분 해결해서.. 이 방법을 공유하고자 한다.1차원적으로 접근해서 어려운 방법은 아니지만 좀 번거로울 수 있는 방법이다.. 1. 데이터 설명내 데이터는 약 20GB의 데이터, 1억건 이상의 row와 20개 이상의 컬럼을 가지고있는 데이터이다.코드 값을 가지고있어 one hot encoding을 해줘야 한다. (컬럼 증가 가능성 有) 2. 문제 상황one hot encoding이 필요한 컬럼은 2개이다.2개의 컬럼에 대해서 encoding을 진행하니 컬럼이 12개가 되었다. 10개가 증가했.. 2024. 11. 29. 이전 1 다음 반응형