개발잡부

package com.curi.log.service;//package com.curi.log.service; import com.opencsv.CSVWriter; import lombok.AllArgsConstructor; import lombok.Getter; import lombok.RequiredArgsConstructor; import lombok.Setter; import org.elasticsearch.action.search.SearchRequest; import org.elasticsearch.action.search.SearchResponse; import org.elasticsearch.action.search.SearchScrollRequest; import org.elasticsea..

음.. 이걸 우찌 쓴담.. Setting & Mapping PUT paylaod_score_query { "mappings": { "properties": { "color": { "type": "text", "term_vector": "with_positions_payloads", "analyzer": "payload_delimiter" } } }, "settings": { "analysis": { "analyzer": { "payload_delimiter": { "tokenizer": "whitespace", "filter": [ "delimited_payload" ] } } } } } 데이터 입력 POST paylaod_score_query/_doc/1 { "name" : "T-shirt S", "c..

가상환경 목록확인 conda info --envs 가상환경 생성 conda create --name "nlp" python="3.7" 설치 pip install -r require.txt require.txt elasticsearch numpy tensorflow tensorflow-hub tensorflow_text kss regex flask flask_restful Api Resource matplotlib pandas keras gensim scikit-learn nltk konlpy 1. 실습 파일 불러오기 실습을 위해 아래의 링크에서 spam.csv란 파일을 다운로드 해보겠습니다. 해당 데이터셋은 스팸 메일 분류하기 챕터에서 재사용됩니다. 다운로드 링크 : https://www.kaggle.c..

https://help.sonatype.com/repomanager3/product-information/download Download Nexus Repository OSS is distributed with Sencha Ext JS pursuant to a FLOSS Exception agreed upon between Sonatype, Inc. and Sencha Inc. Sencha Ext JS is licensed under GPL v3 and cannot be redistributed as part of a closed source work. help.sonatype.com https://learn.sonatype.com/courses/nxrm-config-100/lessons/installi..

Jenkins을 Batch Scheduler로 활용하는 방법에 대해 정리해보자. batch job 생성하기 build periodically를 이용하여 batch scheduler 등록 젠킨스는 빌드 스케쥴을 설정할 때 cron syntax를 따른다. 각 라인은 아래와 같이 5개의 필드를 탭키나 공백으로 구분해서 써주면 된다. 분 시 일 월 주 또한 한 필드에서 여러개의 값을 지정하고 싶은 경우에는 아래와 같은 오퍼레이터를 사용하면 된다. ('주'의 경우 0과 7은 일요일을 의미한다.) * : 모든 가능한 값 M-N : 범위를 지정 M-N/X 또는 */X : X라는 간격을 지정 A,B,C,...,Z : 여러개의 값을 열거 주기적으로 스케쥴되는 태스크를 지정하기 위해서는 'H' 심볼을 사용해야 한다. 랜덤..

자동완성 API 를 만들어 보자 kr-dynalyzer 형태소 분석기를 적용 bool 쿼리 must 에 multi_match 쿼리를 적용하여 만듬 auto Index meta 구조 { "version":7, "mapping_version":1, "settings_version":1, "aliases_version":2, "routing_num_shards":768, "state":"open", "settings":{ "index":{ "routing":{ "allocation":{ "include":{ "_tier_preference":"data_content" } } }, "number_of_shards":"3", "provided_name":"auto-2022-02-06", "creation_dat..

python 으로 테스트 했을때 쓸만해 보여서 작업해봐야겠다. script_query = { "function_score": { "query": { "bool": { "must": [ { "multi_match": { "query": query, "fields": [ "name", "category" ] } }], "should": [ { "multi_match": { "query": query, "fields": [ "category1", "category2", "category3", "category4", "category5" ] } } ] } }, "boost_mode": "multiply", "functions": [ { "script_score": { "script": { "source": "c..

https://ldh-6019.tistory.com/213 [es] 검색쿼리를 만들어 보자 3 must : 쿼리가 참인 도큐먼트들을 검색 must_not : 쿼리가 거짓인 도큐먼트들을 검색 should : 검색 결과 중 이 쿼리에 해당하는 도큐먼트의 점수를 높임 filter : 쿼리가 참인 도큐먼트를 검색하지만 스 ldh-6019.tistory.com 여기서 만든 이 구조를 돌려보자 # -*- coding: utf-8 -*- import time import math from elasticsearch import Elasticsearch import tensorflow_hub as hub import tensorflow_text import matplotlib.pyplot as plt import num..

must : 쿼리가 참인 도큐먼트들을 검색 must_not : 쿼리가 거짓인 도큐먼트들을 검색 should : 검색 결과 중 이 쿼리에 해당하는 도큐먼트의 점수를 높임 filter : 쿼리가 참인 도큐먼트를 검색하지만 스코어를 계산하지 않습니다. must 보다 검색 속도가 빠르고 캐싱이 가능합니다. GET ann-index/_search { "query": { "function_score": { "query": { "bool": { "must": [ { "multi_match": { "query": "샤넬", "fields": [ "name", "category" ] } } ], "should": [ { "multi_match": { "query": "샤넬", "fields": [ "category1",..

https://www.elastic.co/guide/en/elasticsearch/reference/current/similarity.html similarity | Elasticsearch Guide [7.16] | Elastic Elasticsearch allows you to configure a scoring algorithm or similarity per field. The similarity setting provides a simple way of choosing a similarity algorithm other than the default BM25, such as TF/IDF. Similarities are mostly useful for text fields, www.elastic...