개발잡부

https://ldh-6019.tistory.com/213 [es] 검색쿼리를 만들어 보자 3 must : 쿼리가 참인 도큐먼트들을 검색 must_not : 쿼리가 거짓인 도큐먼트들을 검색 should : 검색 결과 중 이 쿼리에 해당하는 도큐먼트의 점수를 높임 filter : 쿼리가 참인 도큐먼트를 검색하지만 스 ldh-6019.tistory.com 여기서 만든 이 구조를 돌려보자 # -*- coding: utf-8 -*- import time import math from elasticsearch import Elasticsearch import tensorflow_hub as hub import tensorflow_text import matplotlib.pyplot as plt import num..

must : 쿼리가 참인 도큐먼트들을 검색 must_not : 쿼리가 거짓인 도큐먼트들을 검색 should : 검색 결과 중 이 쿼리에 해당하는 도큐먼트의 점수를 높임 filter : 쿼리가 참인 도큐먼트를 검색하지만 스코어를 계산하지 않습니다. must 보다 검색 속도가 빠르고 캐싱이 가능합니다. GET ann-index/_search { "query": { "function_score": { "query": { "bool": { "must": [ { "multi_match": { "query": "샤넬", "fields": [ "name", "category" ] } } ], "should": [ { "multi_match": { "query": "샤넬", "fields": [ "category1",..

https://www.elastic.co/guide/en/elasticsearch/reference/current/similarity.html similarity | Elasticsearch Guide [7.16] | Elastic Elasticsearch allows you to configure a scoring algorithm or similarity per field. The similarity setting provides a simple way of choosing a similarity algorithm other than the default BM25, such as TF/IDF. Similarities are mostly useful for text fields, www.elastic...

무쓸모 쿼리 결과 스코어 차트를 만들었다. 이 쓸모없는 것을 활용해보잣 https://ldh-6019.tistory.com/201?category=1029507 [es] 검색결과를 검증해보자 True Positive(TP) : 실제 True인 정답을 True라고 예측 (정답) False Positive(FP) : 실제 False인 정답을 True라고 예측 (오답) False Negative(FN) : 실제 True인 정답을 False라고 예측 (오답) True Negative(.. ldh-6019.tistory.com 1. 같은 쿼리에 부스팅을 다르게 줘서 score 변화를 비교한다. case 1 : category에 ^2 - query 1 case 2 : 부스팅 X - query 2 case 3 : n..

True Positive(TP) : 실제 True인 정답을 True라고 예측 (정답) False Positive(FP) : 실제 False인 정답을 True라고 예측 (오답) False Negative(FN) : 실제 True인 정답을 False라고 예측 (오답) True Negative(TN) : 실제 False인 정답을 False라고 예측 (정답) 정밀도 (Precision) 검색결과로 가져온 문서 중 실제 관련된 문서의 비율 재현율 (Recall) 관련된 문서중 검색된 문서의 비율 성능평가 알고리즘 nDCG CG = 추천결과들은 동일한 비중으로 계산 DCG = 랭킨순서에따라 비중을 줄여 관련도를 계산 nDCG = 전체데이터에 대한 best DCG 를 계산 require.txt 에 pandas 추가 ..

나만의 랭킹 알고리즘 1단계 랭킹은 유사도값 x 가중치 필드 값 x 인기도 / 검색 필드값의 길이 하면.. 유사도가 높고 가중치와 인기도가 높은데 검색 필드값이 짧은 문서가 상위로 가는게 목적인데.. 해보자 https://ldh-6019.tistory.com/181?category=1029507 [es] 검색쿼리를 만들어 보자 900gle shopping 을 java 로 만들었으니.. Tensorflow text embedding 은 python API 통해서 vector를 받아오는 구조로.. 아래와 같이 만들예정 우선 파이썬으로 테스트 #! The vector functions of the fo.. ldh-6019.tistory.com 위에서 만든걸 재활용 index_r.json { "settings"..

900gle shopping 을 java 로 만들었으니.. Tensorflow text embedding 은 python API 통해서 vector를 받아오는 구조로.. 아래와 같이 만들예정 우선 파이썬으로 테스트 #! The vector functions of the form function(query, doc['field']) are deprecated, and the form function(query, 'field') should be used instead. For example, cosineSimilarity(query, doc['field']) is replaced by cosineSimilarity(query, 'field'). 위와 같다고 하니 "source": "cosineSimilar..

설치 다운 → 압축해제 → 심볼릭링크 $ wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.9.2-linux-x86_64.tar.gz $ tar -zxvf filebeat-7.9.2-linux-x86_64.tar.gz $ ln -s filebeat-7.9.2-linux-x86_64.tar.gz filebeat cofing ###################### Filebeat Configuration Example ######################### # ========================= Filebeat inputs =============================== filebeat.inputs: - ..

bool 복합쿼리 GET /_search { "query": { "bool": { "must": [ { }, … ], "must_not": [ { }, … ], "should": [ { }, … ], "filter": [ { }, … ] } } } must : 쿼리가 참인 도큐먼트들을 검색. must_not : 쿼리가 거짓인 도큐먼트들을 검색. should : 검색 결과 중 이 쿼리에 해당하는 도큐먼트의 점수를 높임. filter : 쿼리가 참인 도큐먼트를 검색하지만 스코어를 계산하지 않습니다. must 보다 검색 속도가 빠르고 캐싱이 가능.

# 백그라운드 실행 빌드 옵션 docker compose up -d --build #생성된 컨테이너 중지/삭제 docker compose down docker-compose.yml version: '3.2' services: elasticsearch: container_name: doo_es build: context: elasticsearch/ args: ELK_VERSION: $ELK_VERSION volumes: - type: bind source: ./elasticsearch/config/elasticsearch.yml target: /usr/share/elasticsearch/config/elasticsearch.yml read_only: true - type: volume source: ela..