개발잡부

GET _analyze { "text": "The quick brown fox jumps over the lazy dog", "analyzer": "snowball" } GET _analyze { "text": "The quick brown fox jumps over the lazy dog", "tokenizer": "homeplus_tokenizer", "filter": [ "lowercase", "stop", "snowball" ] }

nori 형태소분석기의 사전파일 테스트 프로젝트 경로 /Users/doo/docker/es8.8.1 프로젝트를 활용할 예정 docker-compose.yml 파일을 열어보면 900gle 에서 쓰고있는 컨테이너들이 잔뜩 들어 있다.. pc 가 성능이 좋았으면 다돌려도 상관없는데.. 내껀 아니라 es, kibana 를 제거한 .yml 파일 생성 docker-compose.yml version: '3.7' services: # The 'setup' service runs a one-off script which initializes the # 'logstash_internal' and 'kibana_system' users inside Elasticsearch with the # values of the pa..

900gle 의 개발 환경을 es8 로 바꾸고 나서 부터 문제가 발생했다. high level client 의 버전은 7.17 버전이후 8버전이 알파상태라 써도 되나 .. 싶은.. 900gle 이 맛이 갔는데 이게 다 업데이트 때문이라는... es8.8.1 도 카피를 떳더니 충돌나서 데몬이 올라오지도 않고 암튼 ann 쿼리로 900gle 을 업데이트 하려고 했는데 이 쿼리가 es 8 부터 실행되는... 8.6 이상이였나.. 아무튼 7.15 를 8.8.1 로 업데이트 하니.. 끝.. (해결이 아닌 맛이감) 문제의 쿼리 { "query": { "match_all": {} }, "knn": { "field": "name_vector", "query_vector": ${query_vector}, "k": 5, ..

Elasticsearch aggregation 을 테스트 해보려고 한다. 그중에서도 Pipeline Aggregations 우선 내 신상 ES 로 이동 /Users/doo/docker/es8.8.1 실행해보자 (base) ➜ es8.8.1 docker compose up -d --build 우선 키바나를 접속해보자 http://localhost:5601/app/home#/ 오케이 인덱스는 언제더라.. 어젠가 그젠가 만들어 놓은 인덱스 820만건의 location 정보 mapping 구조 더보기 { "location-index": { "mappings": { "dynamic": "true", "properties": { "addr1": { "type": "keyword" }, "city": { "type"..

900gle 에서 사용할 tokenizer 를 만들고 싶은데 https://www.elastic.co/guide/en/elasticsearch/plugins/current/example-text-analysis-plugin.html Example text analysis plugin | Elasticsearch Plugins and Integrations [8.7] | Elastic Example text analysis pluginedit This example shows how to create a simple "Hello world" text analysis plugin using the stable plugin API. The plugin provides a custom Lucene token f..

base 는 아래 프로젝트에서 버전업을 하고 디벨롭 한다. https://ldh-6019.tistory.com/394?category=1096525 [es8] Elasticsearch Plugin 8.4.1 Elasticsearch 8.4 Plugin Build & Install TEST 작업 요약 github.com (https://github.com/elastic/elasticsearch.git) 에서 elasticsearch 소스 다운로드 소스에서 plugin > example > rest-handler 복사 build.gradle 수정 및 plugin 빌드 elastic ldh-6019.tistory.com build.gradle 에서 8.6.2로 버전을 올리고 빌드 해보자. /* * Copyri..

https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-similarity.html#index-modules-similarity Similarity module | Elasticsearch Guide [8.7] | Elastic While scripted similarities provide a lot of flexibility, there is a set of rules that they need to satisfy. Failing to do so could make Elasticsearch silently return wrong top hits or fail with internal errors at search ti..

자주쓰는 명령어를 모아보잣 #_termvectors GET hyper-item/_termvectors/1657301588000FA6F960FF6852F49090B7451CB85EC2E?fields=searchItemNm #_explain GET hyper-item/_doc/1657301588000FA6F960FF6852F49090B7451CB85EC2E/_explain { "query" :{ } } #_analyze POST hyper-item/_analyze { "analyzer": "index_analyzer", "text": "_마티니로쏘_750ML" } POST hyper-item/_analyze { "analyzer": "search_analyzer", "text": "과자" } POST _an..

잘못된 형식의 필드는 인덱싱되지 않지만 문서의 다른 필드는 정상적으로 처리됩니다. 8버전 문서인데 7에 있는지는 확인해봐야겠음.. https://www.elastic.co/guide/en/elasticsearch/reference/current/ignore-malformed.html?fbclid=IwAR20CPgmFEJ19ajl4pFMseBneOHgIX_kZl8AgBPH0hA5lm-n3gppRafmoZ0#ignore-malformed ignore_malformed | Elasticsearch Guide [8.6] | Elastic Sometimes you don’t have much control over the data that you receive. One user may send a login fi..

샤드의 갯수가 인덱싱 속도에 어떻게 영향을 테스트 해보겠다 후보군 샤드 1~ 9 까지 생성 색인시간 체크 셈플데이이터 20개 동일한 조건으로 색인 20개는 애매해서 1000개로 테스트 1회 2회 3회 4회 5회 shard 20개 X 1000docs 1회 2회 3회 4회 5회 음.. 애매하다..