개발잡부

역시나 베이스는 아래 에서 시작하는데 https://ldh-6019.tistory.com/394?category=1096525 [es8] Elasticsearch Plugin 8.4.1 Elasticsearch 8.4 Plugin Build & Install TEST 작업 요약 github.com (https://github.com/elastic/elasticsearch.git) 에서 elasticsearch 소스 다운로드 소스에서 plugin > example > rest-handler 복사 build.. ldh-6019.tistory.com analysis-nori 를 카피해서 analysis-doori 를 만들것임 $ cp -r plugins/analysis-nori ~/plugin $ cp -r ..

900gle 에서 사용할 elasticsearch 8.4.1 plugin 만들기 for gradle plugin localproject path : /Users/doo/project/dooplugin docker elk localproject path : /Users/doo/docker/900gle-elk project base 는 아래의 프로젝틀를 기반으로 생성 https://ldh-6019.tistory.com/394?category=1096525 [es8] Elasticsearch Plugin 8.4.1 Elasticsearch 8.4 Plugin Build & Install TEST 작업 요약 github.com (https://github.com/elastic/elasticsearch.git) ..

Elasticsearch 8.4 Plugin Build & Install TEST 작업 요약 github.com (https://github.com/elastic/elasticsearch.git) 에서 elasticsearch 소스 다운로드 소스에서 plugin > example > rest-handler 복사 build.gradle 수정 및 plugin 빌드 elasticsearch 에 빌드한 플러그인 설치 - docker compose 테스트 1. elasticsearch project source code download - https://github.com/elastic/elasticsearch.git $ cd plugin $ git clone https://github.com/elastic/el..

Elasticsearch 8.0에서는 자연어 처리(NLP) 모델에 대한 네이티브 지원을 Elasticsearch에 직접 제공하여 벡터 검색을 더욱 실용적으로 구현하고 있습니다. 또한 Elasticsearch 8.0은 최근접 유사 항목(ANN) 검색에 대한 네이티브 지원을 포함하므로 빠르고 규모에 맞게 벡터 기반 쿼리를 벡터 기반 문서 모음과 비교할 수 있습니다. Elastic 8.0을 사용하면 사용자는 Elasticsearch에서 직접 PyTorch 머신 러닝 모델(BERT 등)을 사용할 수 있고, Elasticsearch 내에서 기본적으로 이러한 모델을 사용해 추론을 수행할 수 있습니다. 이러한 모델은 사용자 지정 모델이 될 수도 있고 Hugging Face와 같은 리포지토리에 있는 커뮤니티에 게시된 ..

> java.lang.UnsupportedClassVersionError: org/elasticsearch/gradle/plugin/PluginBuildPlugin has been compiled by a more recent version of the Java Runtime (class file version 61.0), this version of the Java Runtime only recognizes class file versions up to 55.0 아래 이놈이 java 17로 컴파일 되어 있어서 .. 난 11부터 15까지만 있다보니.. 17을 깔아보자 https://ldh-6019.tistory.com/49 openjdk 설치하기 brew install --cask temurin17 or..

ES8 에서 사용할 payload-score 플러그인을 만들어보자 https://github.com/900gle/payload-dscore/branches/all 에서 master (7.15.1) 를 베이스로 한 8.4.1 을 만든다 원격 branch 를 패치 받아서 로컬에 8.4.1 을 내려 받자. 그리고 체크아웃 #패치 git fetch #8.4.1 을 체크아웃 받자 git checkout 8.4.1

elasticsearch 버전 8.4.1에 맞춰 플러그인을 변경해 보잣 지난번에 할땐 안되던것이 지금은 또 되네..;; https://github.com/900gle/kr-danalyzer/tree/8.4.1 GitHub - 900gle/kr-danalyzer: doo analyzer for korean doo analyzer for korean. Contribute to 900gle/kr-danalyzer development by creating an account on GitHub. github.com branch 7.15.1, 8.4.1 2개를 만들었는데.. 이렇게 관리하려고 하니까 PR 하라고 메시지가 나와서 귀찮.. docker compose 를 활용해서 elastic stack 8.4.1 을..

universal-sentence-encoder 는 문장

Precision(정밀도), Recall(재현율), Accuracy(정확도) 케이스 True Positive(TP) : 실제 True인 정답을 True라고 예측 (정답) False Positive(FP) : 실제 False인 정답을 True라고 예측 (오답) False Negative(FN) : 실제 True인 정답을 False라고 예측 (오답) True Negative(TN) : 실제 False인 정답을 False라고 예측 (정답) Precision(정밀도) 정밀도란 모델이 True라고 분류한 것 중에서 실제 True인 것의 비율입니다. Recall(재현율) 재현율이란 실제 True인 것 중에서 모델이 True라고 예측한 것의 비율입니다. Accuracy(정확도) False를 False라고 예측한 경우..

kNN ( k-nearest neighbor ) 검색은 유사성 메트릭으로 측정된 쿼리 벡터에 가장 가까운 k 개의 벡터를 찾습니다 . ANN ( approximate nearest neighbor search ) KD-트리와 같은 저차원 벡터에는 kNN에 대한 잘 확립된 데이터 구조가 있습니다. 실제로 Elasticsearch는 KD-트리를 통합하여 지리 공간 및 숫자 데이터에 대한 검색을 지원합니다. 그러나 텍스트 및 이미지에 대한 최신 임베딩 모델은 일반적으로 100 - 1000개 또는 그 이상의 요소로 구성된 고차원 벡터를 생성합니다. 이러한 벡터 표현은 고차원에서 가장 가까운 이웃을 효율적으로 찾는 것이 매우 어렵기 때문에 고유한 문제를 제시합니다. 이러한 어려움에 직면한 가장 가까운 이웃 알고리..