개발잡부

GET shop/_search { "from": 0, "size": 10, "timeout": "200ms", "query": { "function_score": { "query": { "bool": { "must": [ { "multi_match": { "query": "루이 비통", "fields": [ "name^0.0", "category", "category1", "category2", "category3", "category4", "category5" ], "type": "best_fields", "operator": "or" } } ] } }, "functions": [ { "script_score": { "script": { "source": "1 + doc['weight'].value +..

universal-sentence-encoder/2 버전이 아주 무쓸모라.. https://tfhub.dev/google/universal-sentence-encoder/4 를 테스트 해보려고 했더니만 tensorflow 버전이 2에서 해야 한다네 버전확인 pip -V pip3 -V pip 20.3b1 from /Library/Python/2.7/site-packages/pip-20.3b1-py2.7.egg/pip (python 2.7) pip 20.2.4 from /Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/pip (python 3.7) 흠.. 아나콘다 설치하고 해야겠다 https://ldh-6019.tist..

https://www.anaconda.com/products/individual Anaconda | Individual Edition Anaconda's open-source Individual Edition is the easiest way to perform Python/R data science and machine learning on a single machine. www.anaconda.com

https://github.com/900gle/text-embeddings : 문장 임베딩 모델을 dense_vector 필드 유형과 결합하여 유사성 검색에 Elasticsearch 를 사용하는 방법에 대한 간단한 예 개발환경 : mac OS python3.7.9 tensorflow1.14 버전확인 pip3 -V 의존성 주입 pip3 install -r requirements.txt requirements.txt 에 보면 es 7.0.2 버전을 요구 하는데 이미 만들어 놓은 es 환경이 있으니 컨테이너를 실행 해 보자 실행 python3 src/main.py posts 인덱스 더보기 더보기 더보기 더보기 { "version":5, "mapping_version":1, "settings_version":1..

macOS Open the Terminal.app or iTerm2 terminal application, and then remove your entire Anaconda directory, which has a name such as anaconda2, anaconda3, or ~/opt. Enter rm -rf ~/anaconda3 to remove the directory.

match 쿼리 다중 필드 GET /_search { "query": { "multi_match" : { "query": "this is a test", "fields": [ "subject^3", "*_message" ] } } } ^3 : subject 필드 3배 부스팅 *_message : _message 를 포함하는 필드 검색 multi_match 쿼리유형 type 매개변수 best_fields ( 기본값 ) 모든 필드와 일치하지만 _score최상의 필드를 사용하는 문서를 찾습니다 . 를 참조하십시오 best_fields. most_fields 모든 필드와 일치하는 문서를 찾아 _score각 필드에서 결합합니다 . 를 참조하십시오 most_fields. cross_fields 필드를 analyze..

데이터 입력 후 확인 POST _bulk {"index":{"_index":"doo", "_id":"1"}} {"name":"나이키", "weight" : 1, "boost" : 1, "description" : "나이키 상품"} {"index":{"_index":"doo", "_id":"2"}} {"name":"나이키 에이맥스","weight" : 1, "boost" : 1,"description" : "나이키 운동화"} {"index":{"_index":"doo", "_id":"3"}} {"name":"나이키 에어조던","weight" : 1, "boost" : 1,"description" : "나이키 운동화 농구화"} {"index":{"_index":"doo", "_id":"4"}} {"name"..

인덱스 생성 PUT test_doo { "settings": { "analysis": { "analyzer": { "nori_analyzer": { "tokenizer": "nori_tokenizer" }, "jamo_analyzer": { "type": "custom", "tokenizer": "whitespace", "filter": [ "lowercase", "stop", "snowball", "doo-jamo" ] }, "chosung_analyzer": { "type": "custom", "tokenizer": "whitespace", "filter": [ "lowercase", "stop", "snowball", "doo-chosung" ] } } } }, "mappings": { "prope..

자모 필터와 초성 필터를 적용해보자. 커스텀 애널라이저 생성하면서 토큰필터에 추가해 보았다. PUT my_index3 { "settings": { "index": { "analysis": { "analyzer": { "my_custom_analyzer": { "type": "custom", "tokenizer": "whitespace", "filter": [ "lowercase", "stop", "snowball", "doo_jamo", "doo_chosung" ] } } } } } } 애널라이저를 테스트 해보았는데.. GET my_index3/_analyze { "analyzer": "my_custom_analyzer", "text": [ "한글 자모 분석 필터" ] } 결과 음.. 그렇군.. 근데 이..

애널라이저 테스트 GET _analyze { "text": "The quick brown fox jumps over the lazy dog", "tokenizer": "whitespace", "filter": [ "lowercase", "stop", "snowball" ] } 결과가 이렇게 나오는디.. 음.. whitespace 를 거치면서 공백으로 나누어 진 토큰 들을 lowercase 에서 소문자로 변경, 그 후에 stop (불용어) 필터 에서 the 가 제거, snowball 필터에서 jumps 가 jump 로 변경 등록된 Analyzer 를 통해 테스트 GET _analyze { "text": "The quick brown fox jumps over the lazy dog", "analyzer":..