개발잡부

https://ldh-6019.tistory.com/418 [900gle] 900gle producer elastic stack과 kafka 를 각자 실행하면 실행 되는데 docker compose 로 elastic stack 과 kafka 를 띄웠더니.. 둘다 죽는다.. 메모리 문제인가.. 일단 https://ldh-6019.tistory.com/228?category=1059128 [kafka] MacOs Kafka install / ldh-6019.tistory.com producer 에서 1분에 3개씩 데이터 가져와서 전송 Local kafka 실행 #카프카 설치 경로로 이동 cd /Users/doo/kafka/kafka_2.13-2.8.0 #주키퍼 시작 bin/zookeeper-server-st..

elastic stack과 kafka 를 각자 실행하면 실행 되는데 docker compose 로 elastic stack 과 kafka 를 띄웠더니.. 둘다 죽는다.. 메모리 문제인가.. 일단 https://ldh-6019.tistory.com/228?category=1059128 [kafka] MacOs Kafka install / test kafka를 설치 해보자 https://www.apache.org/dyn/closer.cgi?path=/kafka/2.8.0/kafka_2.13-2.8.0.tgz Apache Download Mirrors Copyright © 2020 The Apache Software Foundation, Licensed under the Apache L.. ldh-6019.t..

Backoffice 에서 사용할 manage API 우선 DB 를 실행 docker start mysql project root cd /Users/doo/project/900gle/java/doo http://localhost:8084/swagger-ui.html#

900gle shopping 메인 페이지 검색어 : 셀린느 토트백 음 .. 아직도

인덱스 생성 setting, mapping Class 너무 복잡스럽네.. 나중에 index template 으로 변경해야 할듯.. package com.bbongdoo.doo.apis; import org.elasticsearch.client.indices.CreateIndexRequest; import org.elasticsearch.common.settings.Settings; import org.elasticsearch.common.xcontent.XContentBuilder; import org.elasticsearch.common.xcontent.XContentFactory; import java.io.IOException; public class IndexGoodsApi { public sta..

하.. 자바.. 진짜.. 어휴.. 이거 3일동안 삽질하게 만드네.. 내가 원하는 구조는 function_score 하위에 query 와 , 다수의 functions로 랭킹을 조절하는 거였음 아래의 파이썬 코드를 Java 로 바꿀려고 하니.. 뭔넘의 타입이.. script_query = { "function_score": { "query": { "multi_match": { "query": query, "fields": [ "name^5", "category" ] } }, "functions": [ { "script_score": { "script": { "source": "cosineSimilarity(params.query_vector, 'feature_vector') * doc['weight'].va..

흠.. 템플릿도 안되네.. Json 그대로 사용해야하나.. Case 1 PUT _scripts/goods-search-template { "script": { "lang": "mustache", "source": { "query": { "function_score": { "query": { "multi_match": { "query": "{{query}}", "fields": [ "name", "category^2" ] } }, "functions": [ { "script_score": { "script": { "source": "cosineSimilarity(params.query_vector, 'feature_vector') * doc['weight'].value * doc['populr'].valu..

https://ldh-6019.tistory.com/201 [es] 검색결과를 검증해보자 True Positive(TP) : 실제 True인 정답을 True라고 예측 (정답) False Positive(FP) : 실제 False인 정답을 True라고 예측 (오답) False Negative(FN) : 실제 True인 정답을 False라고 예측 (오답) True Negative(.. ldh-6019.tistory.com 여기서 작업한 쿼리를 High Level REST Client 로 변경해보자 SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); Vector vectors = TextEmbedding.getVector( TextEmbe..

상품검색 API 개발환경 java springboot gradle high level client 검색 API python 으로 만든 쿼리를 Api 에 반영해보자 https://ldh-6019.tistory.com/200?category=1029507 [es] 검색쿼리에 랭킹을 적용해보자! 나만의 랭킹 알고리즘 1단계 랭킹은 유사도값 x 가중치 필드 값 x 인기도 / 검색 필드값의 길이 하면.. 유사도가 높고 가중치와 인기도가 높은데 검색 필드값이 짧은 문서가 상위로 가는게 목적 ldh-6019.tistory.com

텍스트를 vector로 변환해주는 API 개발환경 anaconda python 3.7 tensorflow 2.x Request parameter key value keyword String Respose key value vendors 512차원 백터 # import tensorflow as tf import tensorflow_hub as hub import tensorflow_text import kss, numpy import json from flask import Flask, request from flask_restful import reqparse, abort, Api, Resource app = Flask(__name__) api = Api(app) def getTextVectors(inp..