본문 바로가기

PYTHON15

[기록] 이상탐지(지도, 분류) - 불균형 데이터 연습(3)(H2O AutoML, Load Model, Predict, Confusion Matrix, AUCPR) 지난번에 작성했었던 불균형 데이터 연습 코드를 이어서 써보도록 하겠다.[기록] 이상탐지(지도, 분류) - 불균형 데이터 연습(1) ( OverSampling, UnderSampling, Standardscaler, H2O autoML)[기록] 이상탐지(지도, 분류) - 불균형 데이터 연습(2)(H2o AutoML, Predict, Confusion Matrix) 위 링크에서 이어집니다. 1. 개요이번엔 학습을 다 하고나서 저장했던 모델을 불러와서 예측하는 부분과 Aucpr까지 따로 구해보는 코드를 작성해보도록 하겠다.지난 게시글과 전반적으로 비슷하게 가지만 저장된 모델을 load하는 부분이 추가 됐다고 보면 된다.학습 할 때 학습만 일괄로 진행해 뒀을때 나중에 Model을 Load해서 예측해야하는 .. 2024. 11. 11.

[기록] 이상탐지(지도, 분류) - 불균형 데이터 연습(2)(H2O AutoML, Predict, Confusion Matrix) 지난번에 작성했었던 불균형 데이터 연습 코드를 이어서 써보도록 하겠다.[기록] 이상탐지(지도, 분류) - 불균형 데이터 연습(1) ( OverSampling, UnderSampling, Standardscaler, H2O autoML) 위 링크에서 이어집니다. 3. 코드 (이어서)# 이전 게시글과 이어집니다.# Run Automlimport h2ofrom h2o.automl import H2OAutoMLh2o.init()# Start h2o servertrain_h2o = h2o.H2OFrame(X_train_df) # train_data는 pandas DataFrametest_h2o = h2o.H2OFrame(X_test_df) # test_data는 pandas DataFrametotal_h.. 2024. 11. 1.

[에러] python library 충돌 (No Module named 'matplotlib.backends.registry') 데이터 시각화 중에 필요한 라이브러리를 pip install 로 설치했는데갑자기 기존에 잘 되던 라이브러리를 불러오지 못하는 오류가 발생했다. 라이브러리 충돌이 생긴것으로 생각되는데, 나는 Matplotlib에서 해당 오류가 났기 때문에 Matplotlib위주로 설명하지만아마 다른 라이브러리 충돌도 같은 방법으로 해결 할 수 있을것으로 생각된다. 라이브러리 충돌로 의심되는 경우 Matplotlib이 아니더라도, 아래 순서를 따라 진행해 보길 바란다. 1. 상황plt를 이용해서 지도를 그리다가다른 방법으로 그려보기 위해서 구글링 하던 도중 basemap도 그릴 수 있다고 해서 따라 해 보려고했다.Chat GPT가 그러길, basemap은 더이상 유지관리 되지 않는다고 했었는데 별 문제 잇겠냐~ 하고 .. 2024. 10. 23.

[기록] 이상탐지(지도, 분류) - 불균형 데이터 연습(1) ( OverSampling, UnderSampling, Standardscaler, H2O autoML) 원래 전공이 데이터 분석인데..블로그에는 주로 새로 알게된 것, 공부하고 싶은 것만 적다보니 어쩌다보니 데이터 분석에 관련된 글을 이제서야 쓰게 되었다..! 항상 사용하는것만 사용하고 그러다 보니 새로 알게 되는게 별로 없었고프로젝트도 분석 업무 담당이 아니었어서 더 그랬던거같다. 오랜만에 이번에 데이터 분석? 데이터 처리? 업무를 맡게된 김에내가 어떤과정을 거쳐서 분석했는지? 적어보려고한다. 적당히 필터링 한 코드를 적어보려고한다. 이 기록이 다른분들에게 도움이 되었으면 좋겠다. 1. 개요이번 프로젝트는 결과적으로 Anomaly detection를 하는 과제다.보통 Anomaly detection 같은 경우에는 비지도 학습을 하는 경우가 대부분인데 현업 데이터 기반으로 이제 막 시작하는 단계이다 .. 2024. 10. 18.

[python] 웹사이트 크롤링 - FullScreen 캡쳐하기 (Selenium) 크롤링을 하면서 화면을 캡쳐해야 할 일이 왕왕 있는데,구글에 검색해보면 주로 Selenium으로 직접 scroll을 움직이면서 캡쳐하는 방법만 잔뜩 있다. 해당 코드를 보면 좀 하드코딩 하는 느낌이 난달까?코드가 지저분해지고 길어지고.. 좀 꼴보기 싫어져서라이브러리를 설치하든 어쨌든 간결하게 만들수 없을까 해서 열심히 조사를 해봤다. 역시, 없는건 없다.꽤 괜찮은 방법들을 찾아서 소개해 주도록 하겠다.[시간이 없으신 분들은 방법 3을 바로 읽어보세요!!!] 관련 출처 : https://stackoverflow.com/questions/41721734/take-screenshot-of-full-page-with-selenium-python-with-chromedriver Take screenshot of .. 2024. 1. 10.

이전 1 2 3 다음

티스토리툴바