개발잡부

payload sort 2 는 어떻게 됐는지.. 모르겠네.. 왜 작성하다 말았지.. https://ldh-6019.tistory.com/270 [es] payload-score 7.15.1 gradle payload score plugin 을 만들어 보자 https://www.elastic.co/guide/en/elasticsearch/reference/7.15/analysis-delimited-payload-tokenfilter.html#analysis-delimited-payload-tokenfilter java 11 elasticsea.. ldh-6019.tistory.com 일단 여기 플러그인 만들어 놓았고 아래는 회사에서 쓰는거로 테스트 집에가서 섞어봐야지 encoding (Optional, s..

import json import time from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk from ssl import create_default_context import matplotlib.pyplot as plt from matplotlib.collections import EventCollection import numpy as np plt.rcParams['font.family'] = 'AppleGothic' def get_query(keyword): script_query = { "bool": { "filter": [ { "range": { "saleStartDt": { "to": "now/m", "i..

POST hyper-item-aggs-nested/_update_by_query?wait_for_completion=false { "script": { "source": "ctx._source.filterInfo.benefit = ['BASIC','FREE']" }, "query": { "term": { "itemStoreInfo.dcType": { "value": "DEFAULT_PRICE" } } } } POST hyper-item-aggs-array/_update_by_query?wait_for_completion=false { "script": { "source": "ctx._source.filterInfo.benefit = ['BASIC','FREE']" }, "query": { "term": ..

import json import time from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk from ssl import create_default_context import matplotlib.pyplot as plt from matplotlib.collections import EventCollection import numpy as np plt.rcParams['font.family'] = 'AppleGothic' ##### SEARCHING ##### def handle_query(): embedding_start = time.time() embedding_time = time.time() - embeddi..

float, array, string, nested 데이터의 집계를 해보자 아래와 같은 맵핑 구조로 인덱스 생성 index 생성 PUT aggs_doo { "settings": { "index": { "number_of_shards": 3, "number_of_replicas": 0 } }, "mappings": { "properties": { "benefit": { "type": "keyword" }, "grade": { "type": "float" }, "mallType": { "type": "keyword" }, "resellers": { "type": "nested", "properties": { "reseller": { "type": "keyword" }, "price": { "type": "d..

검색쿼리 GET /products_nested/_search?size=0 { "query": { "match": { "name": "led tv" } }, "aggs": { "resellers": { "nested": { "path": "resellers" }, "aggs": { "filter_reseller": { "filter": { "bool": { "filter": [ { "term": { "resellers.reseller": "companyB" } } ] } }, "aggs": { "min_price": { "min": { "field": "resellers.price" } }, "resller": { "terms": { "field": "resellers.reseller", "size": 1..

작업 상품데이터 필터조건 중 float, array, string 데이터의 집계를 하여 필터의 활성화 비활성화를 확인한다. index mapping 구조 PUT aggs_doo { "settings": { "index": { "number_of_shards": 3, "number_of_replicas": 0 } }, "mappings": { "properties": { "benefit": { "type": "keyword" }, "grade": { "type": "float" }, "mallType": { "type": "keyword" } } } } 데이터 색인 PUT aggs_doo/_doc/1 { "benefit":["AAA", "BBB"], "grade": 2.2, "mallType": "DS" ..

Array 형식으로 색인된 필드를 집계해보잣 인덱스 생성 PUT aggs_doo { "settings": { "index": { "number_of_shards": 3, "number_of_replicas": 0 } }, "mappings": { "properties": { "msg": { "type": "keyword" } } } } 색인 PUT aggs_doo/_doc/1 { "msg":["AAA", "BBB"] } PUT aggs_doo/_doc/2 { "msg":["AAA", "CCC"] } 조회 GET aggs_doo/_search { "size": 0, "query": { "match_all": {} }, "aggs": { "MSG": { "terms": { "field": "msg", "si..

Metrics Aggregations min - 최소 max - 최대 sum - 합 avg - 평균 stats - 위 4개 한번에 cardinality - text 사용불가, keyword, ip 필드에 사용 percentiles - 백분위 값 percentiles_ranks - 입력값의 백분위 Bucket Aggregations range histogram date_range date_histogram terms sub-aggregation 하위버킷이 깊어지면 메모리사용량 급증 Pipeline Aggregations

전체 쿼리 더보기 GET hyper-item,ds-item/_search { "from": 0, "size": 0, "timeout": "60s", "query": { "bool": { "filter": [ { "range": { "saleStartDt": { "from": null, "to": "now/m", "include_lower": true, "include_upper": true, "boost": 1 } } }, { "range": { "saleEndDt": { "from": "now/m", "to": null, "include_lower": true, "include_upper": true, "boost": 1 } } }, { "term": { "docDispYn": { "value": "Y..