개발잡부

GET _analyze { "text": "The quick brown fox jumps over the lazy dog", "analyzer": "snowball" } GET _analyze { "text": "The quick brown fox jumps over the lazy dog", "tokenizer": "homeplus_tokenizer", "filter": [ "lowercase", "stop", "snowball" ] }

nori 형태소분석기의 사전파일 테스트 프로젝트 경로 /Users/doo/docker/es8.8.1 프로젝트를 활용할 예정 docker-compose.yml 파일을 열어보면 900gle 에서 쓰고있는 컨테이너들이 잔뜩 들어 있다.. pc 가 성능이 좋았으면 다돌려도 상관없는데.. 내껀 아니라 es, kibana 를 제거한 .yml 파일 생성 docker-compose.yml version: '3.7' services: # The 'setup' service runs a one-off script which initializes the # 'logstash_internal' and 'kibana_system' users inside Elasticsearch with the # values of the pa..

900gle 의 개발 환경을 es8 로 바꾸고 나서 부터 문제가 발생했다. high level client 의 버전은 7.17 버전이후 8버전이 알파상태라 써도 되나 .. 싶은.. 900gle 이 맛이 갔는데 이게 다 업데이트 때문이라는... es8.8.1 도 카피를 떳더니 충돌나서 데몬이 올라오지도 않고 암튼 ann 쿼리로 900gle 을 업데이트 하려고 했는데 이 쿼리가 es 8 부터 실행되는... 8.6 이상이였나.. 아무튼 7.15 를 8.8.1 로 업데이트 하니.. 끝.. (해결이 아닌 맛이감) 문제의 쿼리 { "query": { "match_all": {} }, "knn": { "field": "name_vector", "query_vector": ${query_vector}, "k": 5, ..

Elasticsearch aggregation 을 테스트 해보려고 한다. 그중에서도 Pipeline Aggregations 우선 내 신상 ES 로 이동 /Users/doo/docker/es8.8.1 실행해보자 (base) ➜ es8.8.1 docker compose up -d --build 우선 키바나를 접속해보자 http://localhost:5601/app/home#/ 오케이 인덱스는 언제더라.. 어젠가 그젠가 만들어 놓은 인덱스 820만건의 location 정보 mapping 구조 더보기 { "location-index": { "mappings": { "dynamic": "true", "properties": { "addr1": { "type": "keyword" }, "city": { "type"..

900gle 에서 사용할 tokenizer 를 만들고 싶은데 https://www.elastic.co/guide/en/elasticsearch/plugins/current/example-text-analysis-plugin.html Example text analysis plugin | Elasticsearch Plugins and Integrations [8.7] | Elastic Example text analysis pluginedit This example shows how to create a simple "Hello world" text analysis plugin using the stable plugin API. The plugin provides a custom Lucene token f..

base 는 아래 프로젝트에서 버전업을 하고 디벨롭 한다. https://ldh-6019.tistory.com/394?category=1096525 [es8] Elasticsearch Plugin 8.4.1 Elasticsearch 8.4 Plugin Build & Install TEST 작업 요약 github.com (https://github.com/elastic/elasticsearch.git) 에서 elasticsearch 소스 다운로드 소스에서 plugin > example > rest-handler 복사 build.gradle 수정 및 plugin 빌드 elastic ldh-6019.tistory.com build.gradle 에서 8.6.2로 버전을 올리고 빌드 해보자. /* * Copyri..

https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-similarity.html#index-modules-similarity Similarity module | Elasticsearch Guide [8.7] | Elastic While scripted similarities provide a lot of flexibility, there is a set of rules that they need to satisfy. Failing to do so could make Elasticsearch silently return wrong top hits or fail with internal errors at search ti..

자주쓰는 명령어를 모아보잣 #_termvectors GET hyper-item/_termvectors/1657301588000FA6F960FF6852F49090B7451CB85EC2E?fields=searchItemNm #_explain GET hyper-item/_doc/1657301588000FA6F960FF6852F49090B7451CB85EC2E/_explain { "query" :{ } } #_analyze POST hyper-item/_analyze { "analyzer": "index_analyzer", "text": "_마티니로쏘_750ML" } POST hyper-item/_analyze { "analyzer": "search_analyzer", "text": "과자" } POST _an..

k-nearest neighor (kNN) search kNN ( k-nearest neighbor ) 검색은 유사성 메트릭으로 측정된 쿼리 벡터에 가장 가까운 k 개의 벡터를 찾습니다 . kNN의 일반적인 사용 사례는 다음과 같습니다. 자연어 처리(NLP) 알고리즘 기반 관련성 순위 제품 추천 및 추천 엔진 이미지 또는 비디오에 대한 유사성 검색 전제 조건 kNN 검색을 실행하려면 데이터를 의미 있는 벡터 값으로 변환할 수 있어야 합니다. Elasticsearch 외부에서 이러한 벡터를 생성하고 dense_vector 필드 값으로 문서에 추가합니다. 쿼리는 동일한 차원의 벡터로 표시됩니다. 유사성 메트릭을 기반으로 문서의 벡터가 쿼리 벡터에 가까울수록 더 잘 일치하도록 벡터를 디자인합니다. 이 가이드의..

900gle crawler 를 통해 수집된 데이터를 DB에 저장 후 json 파일로 저장 json 파일을 읽어 색인 생성 https://ldh-6019.tistory.com/477 [python] DB data to json file https://ldh-6019.tistory.com/476 [python] mysql 연동 - PyMySQL Python의 MySql모듈 설치 Python의 MySql모듈 PyMySQL mysql-connector-python ( >= MySQL 8.0) or mysql.connector (< MySQL 8.0) PyMySQL를 이용하여 접근하는 방법 $ pip install Py ldh-6019.tistory.com # -*- coding: utf-8 -*- import ..