개발잡부

import json import time from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk from ssl import create_default_context import matplotlib.pyplot as plt from matplotlib.collections import EventCollection import numpy as np plt.rcParams['font.family'] = 'AppleGothic' ##### SEARCHING ##### def handle_query(): embedding_start = time.time() embedding_time = time.time() - embeddi..

float, array, string, nested 데이터의 집계를 해보자 아래와 같은 맵핑 구조로 인덱스 생성 index 생성 PUT aggs_doo { "settings": { "index": { "number_of_shards": 3, "number_of_replicas": 0 } }, "mappings": { "properties": { "benefit": { "type": "keyword" }, "grade": { "type": "float" }, "mallType": { "type": "keyword" }, "resellers": { "type": "nested", "properties": { "reseller": { "type": "keyword" }, "price": { "type": "d..

검색쿼리 GET /products_nested/_search?size=0 { "query": { "match": { "name": "led tv" } }, "aggs": { "resellers": { "nested": { "path": "resellers" }, "aggs": { "filter_reseller": { "filter": { "bool": { "filter": [ { "term": { "resellers.reseller": "companyB" } } ] } }, "aggs": { "min_price": { "min": { "field": "resellers.price" } }, "resller": { "terms": { "field": "resellers.reseller", "size": 1..

작업 상품데이터 필터조건 중 float, array, string 데이터의 집계를 하여 필터의 활성화 비활성화를 확인한다. index mapping 구조 PUT aggs_doo { "settings": { "index": { "number_of_shards": 3, "number_of_replicas": 0 } }, "mappings": { "properties": { "benefit": { "type": "keyword" }, "grade": { "type": "float" }, "mallType": { "type": "keyword" } } } } 데이터 색인 PUT aggs_doo/_doc/1 { "benefit":["AAA", "BBB"], "grade": 2.2, "mallType": "DS" ..

Array 형식으로 색인된 필드를 집계해보잣 인덱스 생성 PUT aggs_doo { "settings": { "index": { "number_of_shards": 3, "number_of_replicas": 0 } }, "mappings": { "properties": { "msg": { "type": "keyword" } } } } 색인 PUT aggs_doo/_doc/1 { "msg":["AAA", "BBB"] } PUT aggs_doo/_doc/2 { "msg":["AAA", "CCC"] } 조회 GET aggs_doo/_search { "size": 0, "query": { "match_all": {} }, "aggs": { "MSG": { "terms": { "field": "msg", "si..

셈플 프로젝트(하위디렉토리 포함) 안에 있는 build.gradle 파일에서 common 을 포함한 모듈을 사용하고 있는지 확인 $ find . -name "build.gradle" | xargs grep "common" #확장자를 가진 모든 파일 검사 $ find . -name "*.*" | xargs grep "commons-configuration" 현재경로 사전파일에 해당 단어가 있는지 검색 grep -r '새해' ./*.dic 문법 find [OPTION...] [PATH] [EXPRESSION...] OPTION -P : 심볼릭 링크를 따라가지 않고, 심볼릭 링크 자체 정보 사용. -L : 심볼릭 링크에 연결된 파일 정보 사용. -H : 심볼릭 링크를 따라가지 않으나, Command Line ..

Metrics Aggregations min - 최소 max - 최대 sum - 합 avg - 평균 stats - 위 4개 한번에 cardinality - text 사용불가, keyword, ip 필드에 사용 percentiles - 백분위 값 percentiles_ranks - 입력값의 백분위 Bucket Aggregations range histogram date_range date_histogram terms sub-aggregation 하위버킷이 깊어지면 메모리사용량 급증 Pipeline Aggregations

전체 쿼리 더보기 GET hyper-item,ds-item/_search { "from": 0, "size": 0, "timeout": "60s", "query": { "bool": { "filter": [ { "range": { "saleStartDt": { "from": null, "to": "now/m", "include_lower": true, "include_upper": true, "boost": 1 } } }, { "range": { "saleEndDt": { "from": "now/m", "to": null, "include_lower": true, "include_upper": true, "boost": 1 } } }, { "term": { "docDispYn": { "value": "Y..

document 가 존재하지 않는 필터조건에 대해서는 비활성화 처리를 하시겠다.. 라는건데 별점이 이렇게 생겼는데 aggregation 해보니 음.. 이렇게 멋지게 저장되어 있다 "GRADE" : { "doc_count_error_upper_bound" : 0, "sum_other_doc_count" : 0, "buckets" : [ { "key" : 4.699999809265137, "doc_count" : 115 }, { "key" : 0.0, "doc_count" : 80 }, { "key" : 4.800000190734863, "doc_count" : 78 }, { "key" : 4.599999904632568, "doc_count" : 37 }, { "key" : 4.5, "doc_count" ..

conda 환경을 새로 만들고 싶지만 시간이 아까워서 900gle 의 환경을 사용. conda activate 900gle python -m pip install --upgrade pip Study.py import numpy as np import tensorflow_datasets as tfds import tensorflow as tf tfds.disable_progress_bar() "This version of TensorFlow Datasets requires TensorFlow " ImportError: This version of TensorFlow Datasets requires TensorFlow version >= 2.1.0; Detected an installation of vers..