개발잡부

인덱스 생성 setting, mapping Class 너무 복잡스럽네.. 나중에 index template 으로 변경해야 할듯.. package com.bbongdoo.doo.apis; import org.elasticsearch.client.indices.CreateIndexRequest; import org.elasticsearch.common.settings.Settings; import org.elasticsearch.common.xcontent.XContentBuilder; import org.elasticsearch.common.xcontent.XContentFactory; import java.io.IOException; public class IndexGoodsApi { public sta..

하.. 자바.. 진짜.. 어휴.. 이거 3일동안 삽질하게 만드네.. 내가 원하는 구조는 function_score 하위에 query 와 , 다수의 functions로 랭킹을 조절하는 거였음 아래의 파이썬 코드를 Java 로 바꿀려고 하니.. 뭔넘의 타입이.. script_query = { "function_score": { "query": { "multi_match": { "query": query, "fields": [ "name^5", "category" ] } }, "functions": [ { "script_score": { "script": { "source": "cosineSimilarity(params.query_vector, 'feature_vector') * doc['weight'].va..

흠.. 템플릿도 안되네.. Json 그대로 사용해야하나.. Case 1 PUT _scripts/goods-search-template { "script": { "lang": "mustache", "source": { "query": { "function_score": { "query": { "multi_match": { "query": "{{query}}", "fields": [ "name", "category^2" ] } }, "functions": [ { "script_score": { "script": { "source": "cosineSimilarity(params.query_vector, 'feature_vector') * doc['weight'].value * doc['populr'].valu..

https://ldh-6019.tistory.com/201 [es] 검색결과를 검증해보자 True Positive(TP) : 실제 True인 정답을 True라고 예측 (정답) False Positive(FP) : 실제 False인 정답을 True라고 예측 (오답) False Negative(FN) : 실제 True인 정답을 False라고 예측 (오답) True Negative(.. ldh-6019.tistory.com 여기서 작업한 쿼리를 High Level REST Client 로 변경해보자 SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); Vector vectors = TextEmbedding.getVector( TextEmbe..

True Positive(TP) : 실제 True인 정답을 True라고 예측 (정답) False Positive(FP) : 실제 False인 정답을 True라고 예측 (오답) False Negative(FN) : 실제 True인 정답을 False라고 예측 (오답) True Negative(TN) : 실제 False인 정답을 False라고 예측 (정답) 정밀도 (Precision) 검색결과로 가져온 문서 중 실제 관련된 문서의 비율 재현율 (Recall) 관련된 문서중 검색된 문서의 비율 성능평가 알고리즘 nDCG CG = 추천결과들은 동일한 비중으로 계산 DCG = 랭킨순서에따라 비중을 줄여 관련도를 계산 nDCG = 전체데이터에 대한 best DCG 를 계산 require.txt 에 pandas 추가 ..

나만의 랭킹 알고리즘 1단계 랭킹은 유사도값 x 가중치 필드 값 x 인기도 / 검색 필드값의 길이 하면.. 유사도가 높고 가중치와 인기도가 높은데 검색 필드값이 짧은 문서가 상위로 가는게 목적인데.. 해보자 https://ldh-6019.tistory.com/181?category=1029507 [es] 검색쿼리를 만들어 보자 900gle shopping 을 java 로 만들었으니.. Tensorflow text embedding 은 python API 통해서 vector를 받아오는 구조로.. 아래와 같이 만들예정 우선 파이썬으로 테스트 #! The vector functions of the fo.. ldh-6019.tistory.com 위에서 만든걸 재활용 index_r.json { "settings"..

상품검색 API 개발환경 java springboot gradle high level client 검색 API python 으로 만든 쿼리를 Api 에 반영해보자 https://ldh-6019.tistory.com/200?category=1029507 [es] 검색쿼리에 랭킹을 적용해보자! 나만의 랭킹 알고리즘 1단계 랭킹은 유사도값 x 가중치 필드 값 x 인기도 / 검색 필드값의 길이 하면.. 유사도가 높고 가중치와 인기도가 높은데 검색 필드값이 짧은 문서가 상위로 가는게 목적 ldh-6019.tistory.com

텍스트를 vector로 변환해주는 API 개발환경 anaconda python 3.7 tensorflow 2.x Request parameter key value keyword String Respose key value vendors 512차원 백터 # import tensorflow as tf import tensorflow_hub as hub import tensorflow_text import kss, numpy import json from flask import Flask, request from flask_restful import reqparse, abort, Api, Resource app = Flask(__name__) api = Api(app) def getTextVectors(inp..

하.. 이것들이.. 아주.. 총 손실 -30% 던프로(DAWN) 저색히 새벽 1시에 상승하고 지금 신나게 꼬라박는중..

flask_restx 로도 만들수 있네.. 하지만.. 있는걸 수정 후딱 POST 만 만들어 보자 뭐지 2000 ms 나오길래 망했다고 생각했는데 다시 해보니 40 ms 대로 나옴 일단 만들면 .. app.py # import tensorflow as tf import tensorflow_hub as hub import tensorflow_text import kss, numpy import json from flask import Flask, request from flask_restful import reqparse, abort, Api, Resource app = Flask(__name__) api = Api(app) def getTextVectors(input): vectors = module(in..