개발잡부

가상환경 목록확인 conda info --envs 가상환경 생성 conda create --name "nlp" python="3.7" 설치 pip install -r require.txt require.txt elasticsearch numpy tensorflow tensorflow-hub tensorflow_text kss regex flask flask_restful Api Resource matplotlib pandas keras gensim scikit-learn nltk konlpy 1. 실습 파일 불러오기 실습을 위해 아래의 링크에서 spam.csv란 파일을 다운로드 해보겠습니다. 해당 데이터셋은 스팸 메일 분류하기 챕터에서 재사용됩니다. 다운로드 링크 : https://www.kaggle.c..

https://help.sonatype.com/repomanager3/product-information/download Download Nexus Repository OSS is distributed with Sencha Ext JS pursuant to a FLOSS Exception agreed upon between Sonatype, Inc. and Sencha Inc. Sencha Ext JS is licensed under GPL v3 and cannot be redistributed as part of a closed source work. help.sonatype.com https://learn.sonatype.com/courses/nxrm-config-100/lessons/installi..

Jenkins을 Batch Scheduler로 활용하는 방법에 대해 정리해보자. batch job 생성하기 build periodically를 이용하여 batch scheduler 등록 젠킨스는 빌드 스케쥴을 설정할 때 cron syntax를 따른다. 각 라인은 아래와 같이 5개의 필드를 탭키나 공백으로 구분해서 써주면 된다. 분 시 일 월 주 또한 한 필드에서 여러개의 값을 지정하고 싶은 경우에는 아래와 같은 오퍼레이터를 사용하면 된다. ('주'의 경우 0과 7은 일요일을 의미한다.) * : 모든 가능한 값 M-N : 범위를 지정 M-N/X 또는 */X : X라는 간격을 지정 A,B,C,...,Z : 여러개의 값을 열거 주기적으로 스케쥴되는 태스크를 지정하기 위해서는 'H' 심볼을 사용해야 한다. 랜덤..

자동완성 API 를 만들어 보자 kr-dynalyzer 형태소 분석기를 적용 bool 쿼리 must 에 multi_match 쿼리를 적용하여 만듬 auto Index meta 구조 { "version":7, "mapping_version":1, "settings_version":1, "aliases_version":2, "routing_num_shards":768, "state":"open", "settings":{ "index":{ "routing":{ "allocation":{ "include":{ "_tier_preference":"data_content" } } }, "number_of_shards":"3", "provided_name":"auto-2022-02-06", "creation_dat..

python 으로 테스트 했을때 쓸만해 보여서 작업해봐야겠다. script_query = { "function_score": { "query": { "bool": { "must": [ { "multi_match": { "query": query, "fields": [ "name", "category" ] } }], "should": [ { "multi_match": { "query": query, "fields": [ "category1", "category2", "category3", "category4", "category5" ] } } ] } }, "boost_mode": "multiply", "functions": [ { "script_score": { "script": { "source": "c..

https://ldh-6019.tistory.com/213 [es] 검색쿼리를 만들어 보자 3 must : 쿼리가 참인 도큐먼트들을 검색 must_not : 쿼리가 거짓인 도큐먼트들을 검색 should : 검색 결과 중 이 쿼리에 해당하는 도큐먼트의 점수를 높임 filter : 쿼리가 참인 도큐먼트를 검색하지만 스 ldh-6019.tistory.com 여기서 만든 이 구조를 돌려보자 # -*- coding: utf-8 -*- import time import math from elasticsearch import Elasticsearch import tensorflow_hub as hub import tensorflow_text import matplotlib.pyplot as plt import num..

must : 쿼리가 참인 도큐먼트들을 검색 must_not : 쿼리가 거짓인 도큐먼트들을 검색 should : 검색 결과 중 이 쿼리에 해당하는 도큐먼트의 점수를 높임 filter : 쿼리가 참인 도큐먼트를 검색하지만 스코어를 계산하지 않습니다. must 보다 검색 속도가 빠르고 캐싱이 가능합니다. GET ann-index/_search { "query": { "function_score": { "query": { "bool": { "must": [ { "multi_match": { "query": "샤넬", "fields": [ "name", "category" ] } } ], "should": [ { "multi_match": { "query": "샤넬", "fields": [ "category1",..

https://www.elastic.co/guide/en/elasticsearch/reference/current/similarity.html similarity | Elasticsearch Guide [7.16] | Elastic Elasticsearch allows you to configure a scoring algorithm or similarity per field. The similarity setting provides a simple way of choosing a similarity algorithm other than the default BM25, such as TF/IDF. Similarities are mostly useful for text fields, www.elastic...

무쓸모 쿼리 결과 스코어 차트를 만들었다. 이 쓸모없는 것을 활용해보잣 https://ldh-6019.tistory.com/201?category=1029507 [es] 검색결과를 검증해보자 True Positive(TP) : 실제 True인 정답을 True라고 예측 (정답) False Positive(FP) : 실제 False인 정답을 True라고 예측 (오답) False Negative(FN) : 실제 True인 정답을 False라고 예측 (오답) True Negative(.. ldh-6019.tistory.com 1. 같은 쿼리에 부스팅을 다르게 줘서 score 변화를 비교한다. case 1 : category에 ^2 - query 1 case 2 : 부스팅 X - query 2 case 3 : n..

900gle shopping 메인 페이지 검색어 : 셀린느 토트백 음 .. 아직도