개발잡부

노드 속성을 사용하여 hot-warm-cold 아키텍처를 구현하는 방식은 더 이상 권장되지 않습니다. Elasticsearch 7.10 은 데이터 수명 주기 구성을 덜 복잡하게 만들었습니다. 이 블로그 게시물에서는 몇 가지 변경 사항, 사용 방법 및 그 과정에서 몇 가지 모범 사례를 살펴보겠습니다. 데이터 수명 주기는 많은 단계를 포함할 수 있으므로 다음을 살펴보겠습니다. 클러스터를 계층(핫, 웜, 콜드)으로 분할하여 새 데이터가 올바른 위치로 이동하도록 합니다. 계층 간에 데이터를 마이그레이션하기 위해 인덱스 수명 주기 관리(ILM) 내에서 이러한 계층을 활용합니다. 검색 가능한 스냅샷을 사용하여 콜드 계층 내에서 데이터 밀도를 높입니다. 데이터가 계층을 통해 흐르는 방식에 대한 실제 예와 함께 모든 ..

PUT doo_shingle { "settings": { "analysis": { "filter": { "doo_shingle_filter": { "type": "shingle", "min_shingle_size": 3, "max_shingle_size": 4 } } } } } min_shingle_size / max_shingle_size : shingle의 최소 / 최대 단어 개수를 지정. 디폴트는 모두 2 output_unigrams : Shingle 외에도 각각의 개별 토큰(unigram)도 저장 하는지의 여부를 설정. 디폴트는 true output_unigrams_if_no_shingles : shingle 을 만들 수 없는 경우에만 개별 토큰을 저장하는지의 여부를 설정 디폴트는 false to..

#! The [edgeNGram] token filter name is deprecated and will be removed in a future version. Please change the filter name to [edge_ngram] instead. PUT doo_edge_ngram { "settings": { "analysis": { "filter": { "doo_edge_ngram_filter": { "type": "edge_ngram", "min_gram": 1, "max_gram": 4 } } } } } GET doo_edge_ngram/_analyze { "tokenizer": "keyword", "filter": [ "doo_edge_ngram_filter" ], "text": "..

NGram 을 검색에 이용해 보자 NGram unigram(유니그램 – 1글자) bigram(바이그램 - 2자) Elasticsearch는 NGram을 처리하는 토큰 필터를 제공하며 설정은 "type": "nGram" 으로 지정 #! The [nGram] token filter name is deprecated and will be removed in a future version. Please change the filter name to [ngram] instead. nGram 을 ngram 으로 해야 한다는.. PUT doo_ngram { "settings": { "analysis": { "filter": { "doo_ngram_filter": { "type": "ngram", "min_gram":..

GET hyper-item/_search { "_source": ["itemNm", "itemNo"], "from": 0, "size": 20, "timeout": "60s", "query": { "bool": { "filter": [ { "script": { "script": { "source": "(doc['rsvDocDispYn'].value == 'Y' && doc['itemStoreInfo.rsvSoldOutYn'].value == 'N' ) || (doc['docDispYn'].value == 'Y' && doc['itemStoreInfo.soldOutYn'].value == 'N')", "lang": "painless" } } }, { "range": { "saleStartDt": { "fr..

카테고리를 파이썬으로보내야 하나.. 애매하네 시간이 없어 급하게 작업하다 보니 문제가 생김 ecs 가 재실행하면서 노드의 키값이 바뀌다 보니... 죽을때 마다 매번 노가다를 import json import time from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk from ssl import create_default_context import matplotlib.pyplot as plt from matplotlib.collections import EventCollection import numpy as np from hurry.filesize import size import threading import t..

ES가 항상 건강하길 바라는 마음으로 클러스터 레벨의 heath check curl - XGET 'localhost:9200/_cluster/health?pretty' GET _cluster/health 인덱스 레벨의 heath check GET _cluster/health?level=indices 인덱스 레벨의 heath check GET _cluster/health?level=shards cluster_name 클러스터 명 status timed_out number_of_nodes number_of_data_nodes active_primary_shards active_shards relocating_shards initializing_shards unassigned_shards delayed_una..

하나의 필드에 여러개의 텀을 검색할때 사용 GET ds-item/_search { "_source": ["itemNo","itemStatus","unitDispYn", "docDispYn", "itemDispYn", "docDispInfo"], "query": { "terms": { "itemNo": [ "10000300057455", "10000300083762", "10000300055602" ] } } } profile 을 보니

https://ldh-6019.tistory.com/352 [es] sort - payload sort 3 payload sort 2 는 어떻게 됐는지.. 모르겠네.. 왜 작성하다 말았지.. https://ldh-6019.tistory.com/270 [es] payload-score 7.15.1 gradle payload score plugin 을 만들어 보자 https://www.elastic.co/guide/e.. ldh-6019.tistory.com Payload sort 를 만드는 도중.. 유닛테스트의 필요성을 느껴 ESSingleNodeTestCase 를 활용하여 TEST 케이스를 만들어 보았드아 개발 환경 macOS intelliJ IDEA springboot gradle build.gradl..

payload sort 2 는 어떻게 됐는지.. 모르겠네.. 왜 작성하다 말았지.. https://ldh-6019.tistory.com/270 [es] payload-score 7.15.1 gradle payload score plugin 을 만들어 보자 https://www.elastic.co/guide/en/elasticsearch/reference/7.15/analysis-delimited-payload-tokenfilter.html#analysis-delimited-payload-tokenfilter java 11 elasticsea.. ldh-6019.tistory.com 일단 여기 플러그인 만들어 놓았고 아래는 회사에서 쓰는거로 테스트 집에가서 섞어봐야지 encoding (Optional, s..