개발잡부

keyword 에 따라 맵핑된 rank 로 상품 정렬 [ { "name": "고야드 플로트 백 숄더 쁘띠 플로 버킷백 PETIT 스페셜-그레이", "keyword": "고야드", "rank": 269 }, { "name": "고야드 쁘띠플로 버킷백 PETITFLOT 스페셜 03098 10237403", "keyword": "고야드", "rank": 75 }, { "name": "해외고야드 방돔백 패브릭 스트랩 VENDOME BAG 기본컬러 블랙브라운 VENDOMEBAGFABRI", "keyword": "고야드", "rank": 624 }, { "name": "고야드 알핀 알팡 미니 백팩 스폐셜 컬러", "keyword": "고야드", "rank": 952 }, { "name": "고야드 보잉 25 클러치..

script 를 수정해서 score 를 수정 할 수 있을꺼 같은데? 라는 생각이 들어 테스트를 진행 TF, IDF, NORM 에 문서에 색인된 데이터의 가중치로 계산 결과를 바꿔보자 프로젝트 경로 /Users/doo/project/tf-embeddings/script_similarity (venv) (base) ➜ data git:(main) ✗ conda info --envs # conda environments: # base * /Users/doo/opt/anaconda3 900gle /Users/doo/opt/anaconda3/envs/900gle doo /Users/doo/opt/anaconda3/envs/doo image /Users/doo/opt/anaconda3/envs/image nlp /..

Elasticsearch 7.9.2 에 payload plugin 설치 settings { "home-leaflet_2022.06.30.16.20" : { "settings" : { "index" : { "search" : { "slowlog" : { "threshold" : { "fetch" : { "warn" : "3s" }, "query" : { "warn" : "3s" } } } }, "refresh_interval" : "5s", "number_of_shards" : "3", "provided_name" : "home-leaflet_2022.06.30.16.20", "creation_date" : "1656573604579", "analysis" : { "analyzer" : { "payload..

data set 준비 900gle shopping data 색인 similarity_data.json [ { "name": "고야드 플로트 백 숄더 쁘띠 플로 버킷백 PETIT 스페셜-그레이" }, { "name": "고야드 쁘띠플로 버킷백 PETITFLOT 스페셜 03098 10237403" }, { "name": "해외고야드 방돔백 패브릭 스트랩 VENDOME BAG 기본컬러 블랙브라운 VENDOMEBAGFABRI" }, { "name": "고야드 알핀 알팡 미니 백팩 스폐셜 컬러" }, { "name": "고야드 보잉 25 클러치 파우치 전" }, { "name": "고야드 클러치 세나 PM 스페셜-레드" }, { "name": "명품가죽끈 뉴고야드-엠보카멜 카멜 Q-H805" }, { "name"..

from elasticsearch import Elasticsearch import pprint as ppr import json index_name = "script-similarity-index" query = { "query_string": { "query": "foo^1.7", "default_field": "field" } } class EsAPI: es = Elasticsearch(hosts="localhost", port=9200, http_auth=('elastic', 'elastic1!')) # 객체 생성 @classmethod def srvHealthCheck(cls): health = cls.es.cluster.health() print (health) @classmethod def ..

7.9 https://www.elastic.co/guide/en/elasticsearch/reference/7.9/index-modules-similarity.html 7.9환경으로 세팅하고 테스트 setting 에서 my_similarity 를 생성하고 mapping 에서 similarity를 my_similarity 로 맵핑 BM25 similarity (default) TF/IDF based similarity that has built-in tf normalization and is supposed to work better for short fields (like names). See Okapi_BM25 for more details. This similarity has the following..

nested 와 object 를 비교해보자. 같은 데이터를 색인하였으나 nested 구조 안의 문서를 개별로 인식해서 그런가 docs 의 차이가 .. 근데 또 size 는 작네 거의 두배차이 from elasticsearch import Elasticsearch import pprint as ppr import json nested_index_name ="nested-index" object_index_name ="object-index" query = { "sort": [ "_score", { "store.price": { "mode": "max", "order": "asc", "nested": { "path": "store", "filter": { "term": { "store.code": "0002..

{'_shards': {'failed': 0, 'skipped': 0, 'successful': 1, 'total': 1}, 'aggregations': {'price_aggs_filter': {'doc_count': 7, 'price_filter': {'doc_count': 4, 'price_avg': {'value': 12675.0}}}}, 'hits': {'hits': [{'_id': '2', '_index': 'nested-index', '_score': 1.2057104, '_source': {'name': '소고기 1등급 100g', 'store': [{'code': '0002', 'price': 9800}]}, '_type': '_doc', 'sort': [1.2057104, 9800]}, ..

GET hyper-item/_search?explain=true&pretty GET hyper-item/_search?explain=true&pretty { "from": 0, "size": 100, "timeout": "60s", "query": { "bool": { "must": [ { "function_score": { "query": { "multi_match": { "query": "봉지라면", "fields": [ "brandNmEng^1.0", "brandNmKor^1.0", "category.categorySearchKeyword^1.0", "category.dcateNm^1.0", "isbn^1.0", "itemNo^1.0", "itemOptionNms^1.0", "itemStoreInf..

GET _analyze { "text": "The quick brown fox jumps over the lazy dog", "tokenizer": "whitespace", "filter": [ "lowercase", "stop", "snowball" ] } GET my_index3/_analyze { "analyzer": "my_custom_analyzer", "text": [ "The quick brown fox jumps over the lazy dog" ] } POST hyper-item/_analyze { "analyzer": "search_analyzer", "text": "18놈" } POST hyper-item/_analyze { "analyzer": "index_analyzer", "te..