개발잡부

음.. 이기 뭐지.. 일단 수정해서 돌려보긴 했는데.. 30라인 학습 20라인 학습 import json import tensorflow as tf import tensorflow.compat.v1 as tf tf.disable_v2_behavior() import matplotlib import matplotlib.pyplot as plt import numpy as np #한글깨짐 처리 plt.rcParams['font.family'] = 'AppleGothic' def data(): data_array = [] DATA_FILE = "./data/products/products.json" i = 0 with open(DATA_FILE) as data_file: for line in data_file..

Windows OS 나눔고딕 폰트가 설치되어 있다면, plt.rcParams['font.family'] = 'NanumGothic' 맑은고딕 폰트가 설치되어 있다면, plt.rcParams['font.family'] = 'Malgun Gothic' Mac OS Apple Gothic 이 설치되어 있다면, plt.rcParams['font.family'] = 'AppleGothic'

path 에서 받아쓰려고 했더니만 이거 버리고 다시 만들자! https://ldh-6019.tistory.com/195 [tensorflow 2] Text embedding API를 만들어 보자 2 flask_restx 로도 만들수 있네.. 하지만.. 있는걸 수정 후딱 post 만 만들어 보자 뭐지 2000 ms 나오길래 망했다고 생각했는데 다시 해보니 40 ms 대로 나옴 일단 만들어 # import tensorflow as tf import tens.. ldh-6019.tistory.com 900gle shopping에서 사용 할 text embedding API 크롤러, 검색 API 에서 사용 예정 method POST 로 만들고 싶었으나.. 일단 GET 으로 # import tensorflow a..

tensorflow embedding A/B 테스트 tensorflow embedding 모델을 2가지 방법으로 색인해서 테스트해 본다. A :

tensorflow embedding A/B 테스트 tensorflow embedding 2가지 모델을 2가지 방법으로 색인해서 테스트해 본다. #모델 API A : https://tfhub.dev/google/universal-sentence-encoder-multilingual-large/3" B : https://tfhub.dev/google/universal-sentence-encoder-multilingual/3" 공통 : 512차원 밀집백터 색인 cosineSimilarity 비교 2919개의 상품명, 카테고리 데이터 후보 1 A 모델을 사용하여 name (상품명) 으로 vector 추출 후보 2 B 모델을 사용하여 name (상품명) 으로 vector 추출 후보 3 A 모델을 사용하여 nam..

A,B 테스트에서 승리한 B모듈에 강한 상대가 나타났다 라지형님 https://tfhub.dev/google/universal-sentence-encoder-multilingual-large/3 TensorFlow Hub tfhub.dev 공정한 심사를 위해 일단 둘다 지우자 대결 항목 상품명으로 테스트 상품명 + 카테고리 테스트 상품명 + 카테고리 토큰 테스트 put_products.py # -*- coding: utf-8 -*- import json from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk import tensorflow_hub as hub import tensorflow_text import kss,..

상품명에서 백터를 추출 하여 embed_a = hub.load("https://tfhub.dev/google/universal-sentence-encoder/4") embed_b = hub.load("https://tfhub.dev/google/universal-sentence-encoder-multilingual/3") a 와 b 를 비교해보자 # -*- coding: utf-8 -*- import json from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk import tensorflow_hub as hub import tensorflow_text import kss, numpy ##### INDEXING ###..

나중에 다시 만들어야지.. import tensorflow as tf import tensorflow_hub as hub import numpy as np import json from flask import Flask from flask_restful import reqparse, abort, Api, Resource app = Flask(__name__) api = Api(app) filePath = "/Users/doo/project/opencv/web/src/main/resources/static/images/" tempPath = "/Users/doo/project/opencv/common/temp/" def load_img(path): img = tf.io.read_file(path) img ..

universal-sentence-encoder-multilingual 2 (products) 상품정보로 테스트 해본다 아래 모듈을 테스트 한 결과가 기대와 서로 사맛디 아니하여 다른 모듈 테스트 - 다국어용이라고 함 https://tfhub.dev/google/universal-sentence-encoder/2 https://tfhub.dev/google/universal-sentence-encoder/4 4버전 테스트 https://ldh-6019.tistory.com/118?category=1043090 #가상환경 목록확인 conda info --envs #가상환경 생성 conda create --name "text" python="3.7" #가상환경 실행 conda activate text pip..

이걸 테스트 함 https://tfhub.dev/google/universal-sentence-encoder-multilingual/3 #가상환경 목록확인 conda info --envs #가상환경 생성 conda create --name "text" python="3.7" require.txt elasticsearch numpy tensorflow tensorflow-hub tensorflow_text kss regex pip install -r require.txt put_data.py # -*- coding: utf-8 -*- import json from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk import..