개발잡부

ES8 에서 사용할 payload-score 플러그인을 만들어보자 https://github.com/900gle/payload-dscore/branches/all 에서 master (7.15.1) 를 베이스로 한 8.4.1 을 만든다 원격 branch 를 패치 받아서 로컬에 8.4.1 을 내려 받자. 그리고 체크아웃 #패치 git fetch #8.4.1 을 체크아웃 받자 git checkout 8.4.1

Logrotate 사용 (elasticsearch , logstash) logrotate 설치 확인 rpm -qa | grep logrotate 설치되어있지 않다면 yum으로 설치 yum -y install logrotate logrotate 설정 파일 생성 sudo vi /etc/logrotate.d/{서비스명} elasticsearch - sudo vi /etc/logrotate.d/elasticsearch* PRD 환경은 -mtime +30 으로 수정 elasticsearch "/log/elasticsearch/*.gz" { su root root daily missingok rotate 0 postrotate /usr/bin/find /log/elasticsearch/ -name "*.gz" -t..

elasticsearch 버전 8.4.1에 맞춰 플러그인을 변경해 보잣 지난번에 할땐 안되던것이 지금은 또 되네..;; https://github.com/900gle/kr-danalyzer/tree/8.4.1 GitHub - 900gle/kr-danalyzer: doo analyzer for korean doo analyzer for korean. Contribute to 900gle/kr-danalyzer development by creating an account on GitHub. github.com branch 7.15.1, 8.4.1 2개를 만들었는데.. 이렇게 관리하려고 하니까 PR 하라고 메시지가 나와서 귀찮.. docker compose 를 활용해서 elastic stack 8.4.1 을..

universal-sentence-encoder 는 문장

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe3 in position 1: invalid continuation byte query = input("Enter query: ")

Precision(정밀도), Recall(재현율), Accuracy(정확도) 케이스 True Positive(TP) : 실제 True인 정답을 True라고 예측 (정답) False Positive(FP) : 실제 False인 정답을 True라고 예측 (오답) False Negative(FN) : 실제 True인 정답을 False라고 예측 (오답) True Negative(TN) : 실제 False인 정답을 False라고 예측 (정답) Precision(정밀도) 정밀도란 모델이 True라고 분류한 것 중에서 실제 True인 것의 비율입니다. Recall(재현율) 재현율이란 실제 True인 것 중에서 모델이 True라고 예측한 것의 비율입니다. Accuracy(정확도) False를 False라고 예측한 경우..

신입사원 무지는 게시판 불량 이용자를 신고하고 처리 결과를 메일로 발송하는 시스템을 개발하려 합니다. 무지가 개발하려는 시스템은 다음과 같습니다. 각 유저는 한 번에 한 명의 유저를 신고할 수 있습니다. 신고 횟수에 제한은 없습니다. 서로 다른 유저를 계속해서 신고할 수 있습니다. 한 유저를 여러 번 신고할 수도 있지만, 동일한 유저에 대한 신고 횟수는 1회로 처리됩니다. k번 이상 신고된 유저는 게시판 이용이 정지되며, 해당 유저를 신고한 모든 유저에게 정지 사실을 메일로 발송합니다. 유저가 신고한 모든 내용을 취합하여 마지막에 한꺼번에 게시판 이용 정지를 시키면서 정지 메일을 발송합니다. 다음은 전체 유저 목록이 ["muzi", "frodo", "apeach", "neo"]이고, k = 2(즉, 2번..

나만의 카카오 성격 유형 검사지를 만들려고 합니다. 성격 유형 검사는 다음과 같은 4개 지표로 성격 유형을 구분합니다. 성격은 각 지표에서 두 유형 중 하나로 결정됩니다. 지표 번호성격 유형 1번 지표 라이언형(R), 튜브형(T) 2번 지표 콘형(C), 프로도형(F) 3번 지표 제이지형(J), 무지형(M) 4번 지표 어피치형(A), 네오형(N) 4개의 지표가 있으므로 성격 유형은 총 16(=2 x 2 x 2 x 2)가지가 나올 수 있습니다. 예를 들어, "RFMN"이나 "TCMA"와 같은 성격 유형이 있습니다. 검사지에는 총 n개의 질문이 있고, 각 질문에는 아래와 같은 7개의 선택지가 있습니다. 매우 비동의 비동의 약간 비동의 모르겠음 약간 동의 동의 매우 동의 각 질문은 1가지 지표로 성격 유형 점수..

kNN ( k-nearest neighbor ) 검색은 유사성 메트릭으로 측정된 쿼리 벡터에 가장 가까운 k 개의 벡터를 찾습니다 . ANN ( approximate nearest neighbor search ) KD-트리와 같은 저차원 벡터에는 kNN에 대한 잘 확립된 데이터 구조가 있습니다. 실제로 Elasticsearch는 KD-트리를 통합하여 지리 공간 및 숫자 데이터에 대한 검색을 지원합니다. 그러나 텍스트 및 이미지에 대한 최신 임베딩 모델은 일반적으로 100 - 1000개 또는 그 이상의 요소로 구성된 고차원 벡터를 생성합니다. 이러한 벡터 표현은 고차원에서 가장 가까운 이웃을 효율적으로 찾는 것이 매우 어렵기 때문에 고유한 문제를 제시합니다. 이러한 어려움에 직면한 가장 가까운 이웃 알고리..

텍스트, 이미지, 이벤트 등 모든 종류의 콘텐츠를 벡터로 나타낼 수 있는 차세대 기계 학습 모델 덕분에 벡터 검색에 대한 관심이 급증했습니다. 종종 "임베딩 모델"이라고 하는 이러한 강력한 표현은 표면 수준 특성을 넘어서는 방식으로 두 콘텐츠 간의 유사성을 포착 할 수 있습니다. 뭐 이렇다고 한다. 7버전에서도 dense_vector 타입으로 색인하고 cosine similarity 등 kNN 검색이 가능한데.. 8의 특징이 ANN 검색이라고 하니 얼마나 좋아졌는지 테스트 해봐야겠다 k-nearest neighbor (kNN) search algorithms 은 쿼리 벡터와 가장 유사한 데이터세트에서 벡터를 찾습니다. 이러한 벡터 표현과 함께 kNN 검색은 검색에 대한 흥미로운 가능성을 열어준다고 한다 ..