개발잡부

import json import time from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk from ssl import create_default_context import matplotlib.pyplot as plt from matplotlib.collections import EventCollection import numpy as np plt.rcParams['font.family'] = 'AppleGothic' def get_query(keyword): script_query = { "bool": { "filter": [ { "range": { "saleStartDt": { "to": "now/m", "i..

POST hyper-item-aggs-nested/_update_by_query?wait_for_completion=false { "script": { "source": "ctx._source.filterInfo.benefit = ['BASIC','FREE']" }, "query": { "term": { "itemStoreInfo.dcType": { "value": "DEFAULT_PRICE" } } } } POST hyper-item-aggs-array/_update_by_query?wait_for_completion=false { "script": { "source": "ctx._source.filterInfo.benefit = ['BASIC','FREE']" }, "query": { "term": ..

import json import time from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk from ssl import create_default_context import matplotlib.pyplot as plt from matplotlib.collections import EventCollection import numpy as np plt.rcParams['font.family'] = 'AppleGothic' ##### SEARCHING ##### def handle_query(): embedding_start = time.time() embedding_time = time.time() - embeddi..

float, array, string, nested 데이터의 집계를 해보자 아래와 같은 맵핑 구조로 인덱스 생성 index 생성 PUT aggs_doo { "settings": { "index": { "number_of_shards": 3, "number_of_replicas": 0 } }, "mappings": { "properties": { "benefit": { "type": "keyword" }, "grade": { "type": "float" }, "mallType": { "type": "keyword" }, "resellers": { "type": "nested", "properties": { "reseller": { "type": "keyword" }, "price": { "type": "d..

검색쿼리 GET /products_nested/_search?size=0 { "query": { "match": { "name": "led tv" } }, "aggs": { "resellers": { "nested": { "path": "resellers" }, "aggs": { "filter_reseller": { "filter": { "bool": { "filter": [ { "term": { "resellers.reseller": "companyB" } } ] } }, "aggs": { "min_price": { "min": { "field": "resellers.price" } }, "resller": { "terms": { "field": "resellers.reseller", "size": 1..

작업 상품데이터 필터조건 중 float, array, string 데이터의 집계를 하여 필터의 활성화 비활성화를 확인한다. index mapping 구조 PUT aggs_doo { "settings": { "index": { "number_of_shards": 3, "number_of_replicas": 0 } }, "mappings": { "properties": { "benefit": { "type": "keyword" }, "grade": { "type": "float" }, "mallType": { "type": "keyword" } } } } 데이터 색인 PUT aggs_doo/_doc/1 { "benefit":["AAA", "BBB"], "grade": 2.2, "mallType": "DS" ..

Array 형식으로 색인된 필드를 집계해보잣 인덱스 생성 PUT aggs_doo { "settings": { "index": { "number_of_shards": 3, "number_of_replicas": 0 } }, "mappings": { "properties": { "msg": { "type": "keyword" } } } } 색인 PUT aggs_doo/_doc/1 { "msg":["AAA", "BBB"] } PUT aggs_doo/_doc/2 { "msg":["AAA", "CCC"] } 조회 GET aggs_doo/_search { "size": 0, "query": { "match_all": {} }, "aggs": { "MSG": { "terms": { "field": "msg", "si..

Metrics Aggregations min - 최소 max - 최대 sum - 합 avg - 평균 stats - 위 4개 한번에 cardinality - text 사용불가, keyword, ip 필드에 사용 percentiles - 백분위 값 percentiles_ranks - 입력값의 백분위 Bucket Aggregations range histogram date_range date_histogram terms sub-aggregation 하위버킷이 깊어지면 메모리사용량 급증 Pipeline Aggregations

전체 쿼리 더보기 GET hyper-item,ds-item/_search { "from": 0, "size": 0, "timeout": "60s", "query": { "bool": { "filter": [ { "range": { "saleStartDt": { "from": null, "to": "now/m", "include_lower": true, "include_upper": true, "boost": 1 } } }, { "range": { "saleEndDt": { "from": "now/m", "to": null, "include_lower": true, "include_upper": true, "boost": 1 } } }, { "term": { "docDispYn": { "value": "Y..

document 가 존재하지 않는 필터조건에 대해서는 비활성화 처리를 하시겠다.. 라는건데 별점이 이렇게 생겼는데 aggregation 해보니 음.. 이렇게 멋지게 저장되어 있다 "GRADE" : { "doc_count_error_upper_bound" : 0, "sum_other_doc_count" : 0, "buckets" : [ { "key" : 4.699999809265137, "doc_count" : 115 }, { "key" : 0.0, "doc_count" : 80 }, { "key" : 4.800000190734863, "doc_count" : 78 }, { "key" : 4.599999904632568, "doc_count" : 37 }, { "key" : 4.5, "doc_count" ..