개발잡부

Neo4j 개인 프로젝트의 배치 였나.. 가물 가물 toml 파일을 쓰긴했지만 정확하게 다시 이해하고 넘어가려고 함. [build-system]requires = ["setuptools>=61", "wheel"]build-backend = "setuptools.build_meta"[project]name = "search-graph"version = "0.1.0"description = "Elasticsearch 검색 로그를 Neo4j 그래프로 적재하는 유틸리티"requires-python = ">=3.10"dependencies = [ "elasticsearch>=7,=5,=6", "python-dotenv>=1",][project.scripts]search-graph = "search_..

그래프 기본 구조Node (정점) → 객체, 엔티티예: (:User), (:Keyword), (:Item)Relationship (간선) → 관계, 방향 있음예: (:Keyword)-[:NEXT]->(:Keyword)Property (속성)예: (:Keyword { name:'치킨', count:10 }) 테스트 CREATE (k1:Keyword {name: "치킨"})- [:NEXT]->(k2:Keyword {name: "닭고기"})- [:NEXT]->(k3:Keyword {name: "조리식품"})- [:NEXT]->(k4:Keyword {name: "튀김"})- [:NEXT]->(k5:Keyword {name: "냉동식품"}); 데이터 조회MATCH (n..

노드 / 관계 패턴 매칭키워드의미MATCH그래프에서 패턴을 검색할 때 사용 (SELECT에 해당)OPTIONAL MATCH해당 패턴이 없어도 null 로 반환 (SQL의 LEFT JOIN 느낌)MERGE패턴이 없으면 생성하고, 있으면 매칭 (SQL의 UPSERT 느낌)CREATE무조건 새 노드/관계를 생성DELETE노드/관계 삭제DETACH DELETE관계가 있어도 강제 삭제 (ON DELETE CASCADE와 비슷) 조건 / 필터링키워드의미WHERE패턴 뒤에서 조건 필터링AND / OR / NOT논리 조건INSQL의 IN과 동일STARTS WITH / ENDS WITH / CONTAINS문자열 검색=~정규표현식 매칭 반환 / 정렬 / 페이징키워드의미RETURN결과 반환DISTINCT중복 제거ORDE..

한국어 전체 9품사한국어 품사는 크게 체언 / 용언 / 수식언 / 독립언 / 관계언으로 나뉘며,총 9품사가 있다. 1. 체언(體言) — 이름 역할문장에서 주어·목적어·보어가 될 수 있고 조사를 붙일 수 있음.품사설명예명사사람·사물·장소·추상 개념 이름사람, 고양이, 사랑, 서울대명사명사를 대신하여 가리킴나, 너, 이것, 아무수사수량·순서를 나타냄하나, 둘, 첫째, 제32. 용언(用言) — 서술 역할**활용(변형)**이 가능한 말. 문장의 서술어가 됨.품사설명예동사동작·행동가다, 먹다, 만들다형용사성질·상태예쁘다, 차갑다, 조용하다3. 수식언(修飾言) — 꾸며주는 역할다른 말을 꾸며주는 말.품사설명예관형사명사를 꾸밈새, 헌, 저, 몇부사용언·문장·부사·관형사를 꾸밈매우, 빨리, 곧, 참4. 관계언(關係言)..

local 테스트용 설치 사전작업- docker 설치 docker-compose.yml version: "3.8"services: neo4j: image: neo4j:5.12 container_name: neo4j ports: - "7474:7474" # Web UI - "7687:7687" # Bolt environment: NEO4J_AUTH: "neo4j/2Engussla" # ID/PW : neo4j / test1234 (원하면 바꿔) volumes: - neo4j_data:/data - neo4j_logs:/logs restart: unless-stoppedvolumes: neo4j_data: neo4..

그래프 DB란?**노드(Node)**와 **관계(Relationship / Edge)**로 데이터를 저장하는 데이터베이스RDBMS처럼 테이블·JOIN 중심이 아니라, "연결" 자체가 1급 데이터로 취급됨. 장점 한 줄 설명속도경로 탐색이 JOIN보다 수십~수백 배 빠름스키마 유연성데이터 구조 자주 바뀌는 서비스에 최적관계 저장엣지에 count/score/timestamp 저장 가능패턴 분석시퀀스 기반 추천·연관검색·행동 분석에 최적화 내 입장에서의 진짜 강점 검색어 → 검색어 전환율 저장 가능인기 검색 경로 자동 탐색 가능상품 → UDA → 속성 트리 그래프화장바구니 연관 상품 추천개인화 추천에 GraphSAGE/PageRank 적용 가능RDB나 ES에서는 힘든 작업을 그래프에서는 자연스럽게 할 수 있..

RAG 아키텍처는 Retrieval-Augmented Generation의 약자로, 대규모 언어 모델(LLM)에 외부 지식 검색(retrieval) 단계를 결합한 구조를 말합니다. 기본 아이디어는 LLM이 모든 정보를 사전에 학습해두는 대신, 질의 시점에 적절한 문서를 검색해서 참고하도록 만드는 것 RAG 아키텍처의 주요 구성 요소사용자 질의(Query)사용자가 질문이나 요청을 입력합니다.Retriever (검색기)주어진 질의를 기반으로 외부 지식 저장소에서 관련 문서를 검색합니다.보통 벡터 데이터베이스(Vector DB, 예: FAISS, Milvus, Weaviate, ElasticSearch with dense vectors) 를 사용해 임베딩 기반 유사도 검색을 수행합니다.검색 대상은 사전 구축..

koBert 를 사용 loanword_classifier 생성 process로그 추출 후 필터링공백기준 1단어이상 조합, 숫자로만 이루어진 단어, 특수문자 들어간 단어 제외/Users/doo/doo_py/homeplus/season_keyword/log_extrect_clean.py (로그추출 스크립트)result/log_result_clean.txt (로그 파일)외래어 분류/Users/doo/doo_py/homeplus/new_nlp/loanword_inference.py (외래어 분류)/result/loanword/loanword_list.csv (외래어)native_list.csv (일반어)API 조회/Users/doo/doo_py/homeplus/homeplus_api/search.py (..

BERTklue/bert-base (한국어 사전으로 학습된 모델) 모델 로드Device : Local CPU Fine-Tunning식품/비식품“text”와 “label(1=음식, 0=비음식)” 컬럼으로 구성으로 학습식품 비식품 1031개 단어학습 중 - 1000개 학습 약 2분 10초 소요 (epoch 5)추론 10000개 6분 30초 소요 테스트추출 기간: 2024-06-01 00:00:00 ~ 2024-08-31 00:00:00추출 키워드: 59,973개 (Type 에러 발생시키는 키워드 제거)결과식품 : 48,837개비식품: 11,136개 시즌 키워드사계절 및 비시즌 파일로 추론 결과 생성0: "비시즌" - nonseason_list.csv1: "봄" - spring_list.csv2: "여름" -..

흐미 오래걸린다. 허깅페이스에 있는걸 그대로 쓰려고 하니까 방화벽에 막혀서 암것도 안되는 상황 그래서 로컬에 구축 허깅페이스에서 이 파일들 다운 받음 그리고 트레이너 선생님 import reimport pandas as pdimport numpy as npimport torchfrom torch.utils.data import Dataset, DataLoader # Dataset 추가from torch.optim import AdamWfrom transformers import ( BertTokenizer, BertForSequenceClassification, DataCollatorWithPadding, get_linear_schedule_with_warmu..