개발잡부

[퍼옴] https://www.elastic.co/guide/en/fleet/7.15/fleet-overview.html#elastic-agent Elastic Agent Elastic Agent는 로그, 메트릭 및 기타 데이터 유형에 대한 모니터링을 각 호스트에 추가하는 단일 통합 방법입니다. 단일 에이전트를 사용하면 인프라 전반에 모니터링을 더 쉽고 빠르게 배포할 수 있습니다. 에이전트의 단일 통합 정책을 통해 새 데이터 소스에 대한 통합을 더 쉽게 추가할 수 있습니다. 자세한 내용은 탄력적 에이전트 를 참조하십시오 . Fleet Fleet은 Kibana에서 웹 기반 UI를 제공하여 인기 있는 서비스 및 플랫폼에 대한 통합을 추가 및 관리하고 Elastic Agent의 집합을 관리합니다. 당사의 통합..

MacOS 에 kafka 를 설치 https://ldh-6019.tistory.com/228?category=1059128 [kafka] MacOs Kafka install / test kafka를 설치 해보자 https://www.apache.org/dyn/closer.cgi?path=/kafka/2.8.0/kafka_2.13-2.8.0.tgz Apache Download Mirrors Copyright © 2020 The Apache Software Foundation, Licensed under the Apache L.. ldh-6019.tistory.com 명령어 모음 kafka 실행 #카프카 설치 경로로 이동 cd /Users/doo/kafka/kafka_2.13-2.8.0 #주키퍼 시작 bin..

Logrotate 사용 (elasticsearch , logstash) logrotate 설치 확인 rpm -qa | grep logrotate 설치되어있지 않다면 yum으로 설치 yum -y install logrotate logrotate 설정 파일 생성 sudo vi /etc/logrotate.d/{서비스명} elasticsearch - sudo vi /etc/logrotate.d/elasticsearch* PRD 환경은 -mtime +30 으로 수정 elasticsearch "/log/elasticsearch/*.gz" { su root root daily missingok rotate 0 postrotate /usr/bin/find /log/elasticsearch/ -name "*.gz" -t..

elasticsearch random sort 를 구현해보자 여러가지 방법이 있지만 잴 만만한 방법으로 개발환경 elasticsearch 7.9.2 sample code GET exp-item/_search/ { "_source": [ "itemNm", "itemNo", "itemStoreInfo.eventInfo.rmsEventKind" ], "size": 12, "query": { "bool": { "must_not": [ { "term": { "itemNo": { "value": "055964330" } } } ], "filter": [ { "terms": { "itemStoreInfo.eventInfo.rmsEventKind": [ "BASIC", "PICK", "TOGETHER", "GIFT" ..

하나의 필드에 여러개의 텀을 검색할때 사용 GET ds-item/_search { "_source": ["itemNo","itemStatus","unitDispYn", "docDispYn", "itemDispYn", "docDispInfo"], "query": { "terms": { "itemNo": [ "10000300057455", "10000300083762", "10000300055602" ] } } } profile 을 보니

Logrotate 사용 (elasticsearch , logstash) logrotate 설치 확인 rpm -qa | grep logrotate 설치되어있지 않다면 yum으로 설치 yum -y install logrotate logrotate 설정 파일 생성 sudo vi /etc/logrotate.d/{서비스명} elasticsearch - sudo vi /etc/logrotate.d/elasticsearch* PRD 환경은 -mtime +30 으로 수정 elasticsearch "/log/elasticsearch/*.gz" { su root root daily missingok rotate 0 postrotate /usr/bin/find /log/elasticsearch/ -name "*.gz" -t..

원인좀 파악해주세요. 라고 빡치게 한다면 Search Profiler 를 사용해보자. 이유를 설명해주면 근거를 대라고 하는 얼토당토 않은 사람도 많으니.. 걀걀 Kibana Dev Tools 에 가면 가장많이 쓰는 Console 옆에 Search Profiler 라는 탭(?) 이 있다. 눌러보자 이런화면인데 왼쪽은 쿼리를 넣고 오른쪽에서는 Query 와 Aggregation 의 프로파일링된 내용을 확인 할 수 있다. 자.. 쿼리를 넣고 파란버튼 Profile 클릭 하면 아래와 같이 프로파일된 내용을 확인 할 수 있다. 디테일을 봐볼까? View details 를 클릭해보면 상세 내용을 확인할 수 있다. 눌러보자 Lucene 구문 으로 바뀐 structure 쿼리를 볼 수 있다. 놀라운 사실.. match..

https://ldh-6019.tistory.com/352 [es] sort - payload sort 3 payload sort 2 는 어떻게 됐는지.. 모르겠네.. 왜 작성하다 말았지.. https://ldh-6019.tistory.com/270 [es] payload-score 7.15.1 gradle payload score plugin 을 만들어 보자 https://www.elastic.co/guide/e.. ldh-6019.tistory.com Payload sort 를 만드는 도중.. 유닛테스트의 필요성을 느껴 ESSingleNodeTestCase 를 활용하여 TEST 케이스를 만들어 보았드아 개발 환경 macOS intelliJ IDEA springboot gradle build.gradl..

Preferences > Build, Execution, Deployment > Build Tools > Gradle 의 Run tests Using 을 아래와 같이 IntelliJ IDEA 로 바꿔준다 Execution failed for task ':test'. > No tests found for given includes: [doo.elasticsearch.plugin.PayLoadSortTest.indexApi](filter.includeTestsMatching) * Try: > Run with --stacktrace option to get the stack trace. > Run with --info or --debug option to get more log output. > Run wit..

에러메시지를 확인해 보면 startOffset은 음수면 에러발생 endOffset은 startOffset 보다 같거나 커야하고 startOffset은 역행하면 안됨 elasticsearch.exceptions.RequestError: RequestError(400, 'illegal_argument_exception', "startOffset must be non-negative, and endOffset must be >= startOffset, and offsets must not go backwards startOffset=36,endOffset=37,lastStartOffset=37 for field 'itemNm'") analyzer 를 통해서 분해된 토큰은 확인 start_offset, end_..