개발잡부

koBert 를 사용 loanword_classifier 생성 process로그 추출 후 필터링공백기준 1단어이상 조합, 숫자로만 이루어진 단어, 특수문자 들어간 단어 제외/Users/doo/doo_py/homeplus/season_keyword/log_extrect_clean.py (로그추출 스크립트)result/log_result_clean.txt (로그 파일)외래어 분류/Users/doo/doo_py/homeplus/new_nlp/loanword_inference.py (외래어 분류)/result/loanword/loanword_list.csv (외래어)native_list.csv (일반어)API 조회/Users/doo/doo_py/homeplus/homeplus_api/search.py (..

BERTklue/bert-base (한국어 사전으로 학습된 모델) 모델 로드Device : Local CPU Fine-Tunning식품/비식품“text”와 “label(1=음식, 0=비음식)” 컬럼으로 구성으로 학습식품 비식품 1031개 단어학습 중 - 1000개 학습 약 2분 10초 소요 (epoch 5)추론 10000개 6분 30초 소요 테스트추출 기간: 2024-06-01 00:00:00 ~ 2024-08-31 00:00:00추출 키워드: 59,973개 (Type 에러 발생시키는 키워드 제거)결과식품 : 48,837개비식품: 11,136개 시즌 키워드사계절 및 비시즌 파일로 추론 결과 생성0: "비시즌" - nonseason_list.csv1: "봄" - spring_list.csv2: "여름" -..

흐미 오래걸린다. 허깅페이스에 있는걸 그대로 쓰려고 하니까 방화벽에 막혀서 암것도 안되는 상황 그래서 로컬에 구축 허깅페이스에서 이 파일들 다운 받음 그리고 트레이너 선생님 import reimport pandas as pdimport numpy as npimport torchfrom torch.utils.data import Dataset, DataLoader # Dataset 추가from torch.optim import AdamWfrom transformers import ( BertTokenizer, BertForSequenceClassification, DataCollatorWithPadding, get_linear_schedule_with_warmu..

Elasticsearch 8.0에서는 자연어 처리(NLP) 모델에 대한 네이티브 지원을 Elasticsearch에 직접 제공하여 벡터 검색을 더욱 실용적으로 구현하고 있습니다. 또한 Elasticsearch 8.0은 최근접 유사 항목(ANN) 검색에 대한 네이티브 지원을 포함하므로 빠르고 규모에 맞게 벡터 기반 쿼리를 벡터 기반 문서 모음과 비교할 수 있습니다. Elastic 8.0을 사용하면 사용자는 Elasticsearch에서 직접 PyTorch 머신 러닝 모델(BERT 등)을 사용할 수 있고, Elasticsearch 내에서 기본적으로 이러한 모델을 사용해 추론을 수행할 수 있습니다. 이러한 모델은 사용자 지정 모델이 될 수도 있고 Hugging Face와 같은 리포지토리에 있는 커뮤니티에 게시된 ..