개발잡부

쿼리 구조 쿼리 셈플 phase 2 query script_query = { "function_score": { "query": { "bool": { "must": [ { "multi_match": { "query": query, "fields": [ "name", "category" ] } }], "should": [ { "multi_match": { "query": query, "fields": [ "category1", "category2", "category3", "category4", "category5" ] } } ] } }, "boost_mode": "multiply", "functions": [ { "script_score": { "script": { "source": "cosineSimi..

900gle shopping 을 java 로 만들었으니.. Tensorflow text embedding 은 python API 통해서 vector를 받아오는 구조로.. 아래와 같이 만들예정 우선 파이썬으로 테스트 #! The vector functions of the form function(query, doc['field']) are deprecated, and the form function(query, 'field') should be used instead. For example, cosineSimilarity(query, doc['field']) is replaced by cosineSimilarity(query, 'field'). 위와 같다고 하니 "source": "cosineSimilar..

tensorflow embedding A/B 테스트 tensorflow embedding 모델을 2가지 방법으로 색인해서 테스트해 본다. A :

tensorflow embedding A/B 테스트 tensorflow embedding 2가지 모델을 2가지 방법으로 색인해서 테스트해 본다. #모델 API A : https://tfhub.dev/google/universal-sentence-encoder-multilingual-large/3" B : https://tfhub.dev/google/universal-sentence-encoder-multilingual/3" 공통 : 512차원 밀집백터 색인 cosineSimilarity 비교 2919개의 상품명, 카테고리 데이터 후보 1 A 모델을 사용하여 name (상품명) 으로 vector 추출 후보 2 B 모델을 사용하여 name (상품명) 으로 vector 추출 후보 3 A 모델을 사용하여 nam..

A,B 테스트에서 승리한 B모듈에 강한 상대가 나타났다 라지형님 https://tfhub.dev/google/universal-sentence-encoder-multilingual-large/3 TensorFlow Hub tfhub.dev 공정한 심사를 위해 일단 둘다 지우자 대결 항목 상품명으로 테스트 상품명 + 카테고리 테스트 상품명 + 카테고리 토큰 테스트 put_products.py # -*- coding: utf-8 -*- import json from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk import tensorflow_hub as hub import tensorflow_text import kss,..

www.minwon.go.kr 정부24 www.gov.kr 연말정산, 회사제출용 등등 주민등록등본 필요할때 접속해보자 '주민등록표등본' 클릭! 회원 간편인증으로 왜냐면 간편하니까!! 로그인 후 화면 서울시 > oo 구 까지 선택 하고 '민원신청하기' 버튼 클릭 처리 상태에 버튼이 나오는데 누르면 아래와 같은 상태로 변경 공기업 사이트 많이 편해졌네.. 맥인데도 무리없이 3분 컷

상품명에서 백터를 추출 하여 embed_a = hub.load("https://tfhub.dev/google/universal-sentence-encoder/4") embed_b = hub.load("https://tfhub.dev/google/universal-sentence-encoder-multilingual/3") a 와 b 를 비교해보자 # -*- coding: utf-8 -*- import json from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk import tensorflow_hub as hub import tensorflow_text import kss, numpy ##### INDEXING ###..

설치 다운 → 압축해제 → 심볼릭링크 $ wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.9.2-linux-x86_64.tar.gz $ tar -zxvf filebeat-7.9.2-linux-x86_64.tar.gz $ ln -s filebeat-7.9.2-linux-x86_64.tar.gz filebeat cofing ###################### Filebeat Configuration Example ######################### # ========================= Filebeat inputs =============================== filebeat.inputs: - ..

나중에 다시 만들어야지.. import tensorflow as tf import tensorflow_hub as hub import numpy as np import json from flask import Flask from flask_restful import reqparse, abort, Api, Resource app = Flask(__name__) api = Api(app) filePath = "/Users/doo/project/opencv/web/src/main/resources/static/images/" tempPath = "/Users/doo/project/opencv/common/temp/" def load_img(path): img = tf.io.read_file(path) img ..

universal-sentence-encoder-multilingual 2 (products) 상품정보로 테스트 해본다 아래 모듈을 테스트 한 결과가 기대와 서로 사맛디 아니하여 다른 모듈 테스트 - 다국어용이라고 함 https://tfhub.dev/google/universal-sentence-encoder/2 https://tfhub.dev/google/universal-sentence-encoder/4 4버전 테스트 https://ldh-6019.tistory.com/118?category=1043090 #가상환경 목록확인 conda info --envs #가상환경 생성 conda create --name "text" python="3.7" #가상환경 실행 conda activate text pip..