개발잡부

클라이언트에서 connection 종료를 인지하지 못하고 계속들고있다가 lost connection으로 시도하는것으로 추측 .setConnectionReuseStrategy((response, context) -> true) // keepAlive use true .setKeepAliveStrategy((response, context) -> 300) // keepAlive timeout sec

잘못된 형식의 필드는 인덱싱되지 않지만 문서의 다른 필드는 정상적으로 처리됩니다. 8버전 문서인데 7에 있는지는 확인해봐야겠음.. https://www.elastic.co/guide/en/elasticsearch/reference/current/ignore-malformed.html?fbclid=IwAR20CPgmFEJ19ajl4pFMseBneOHgIX_kZl8AgBPH0hA5lm-n3gppRafmoZ0#ignore-malformed ignore_malformed | Elasticsearch Guide [8.6] | Elastic Sometimes you don’t have much control over the data that you receive. One user may send a login fi..

인덱스 생성 PUT nested-object-test { "mappings": { "properties": { "metaDates": { "type": "nested", "properties": { "value": { "type": "float" } } } } } } 데이터 색인 PUT /nested-object-test/_doc/1 { "somefield": "this is a field", "someotherfield": "this is some other field", "metaDates": [ { "name": "create-time", "value": 1 }, { "name": "update-time", "value": 1 }, { "name": "some-other-time", "value":..

검색결과 내부 object 를 정렬 해보자 작업중.. DELETE sort_doo PUT sort_doo { "settings": { "index": { "number_of_shards": 3, "number_of_replicas": 0 } }, "mappings": { "properties": { "keyword": { "type": "keyword" }, "attribute": { "properties": { "name": { "type": "text" }, "contry": { "properties": { "name": { "type": "text" }, "weight": { "type": "float" } } } } } } } } PUT sort_doo/_doc/1 { "keyword": "포도주..

[tomcat@ip-172-31-57-86 logs]$ cat localhost_access_log.2022-12-17.txt | egrep "2022:15:5[5-9]" | wc 13248 132480 1781207 [tomcat@ip-172-31-57-86 logs]$ cat localhost_access_log.2022-12-18.txt | egrep "2022:15:5[5-9]" | wc 36671 366710 5006929

노드 속성을 사용하여 hot-warm-cold 아키텍처를 구현하는 방식은 더 이상 권장되지 않습니다. Elasticsearch 7.10 은 데이터 수명 주기 구성을 덜 복잡하게 만들었습니다. 이 블로그 게시물에서는 몇 가지 변경 사항, 사용 방법 및 그 과정에서 몇 가지 모범 사례를 살펴보겠습니다. 데이터 수명 주기는 많은 단계를 포함할 수 있으므로 다음을 살펴보겠습니다. 클러스터를 계층(핫, 웜, 콜드)으로 분할하여 새 데이터가 올바른 위치로 이동하도록 합니다. 계층 간에 데이터를 마이그레이션하기 위해 인덱스 수명 주기 관리(ILM) 내에서 이러한 계층을 활용합니다. 검색 가능한 스냅샷을 사용하여 콜드 계층 내에서 데이터 밀도를 높입니다. 데이터가 계층을 통해 흐르는 방식에 대한 실제 예와 함께 모든 ..

사과메뉴 - 이 Mac에 관하여 하면 아래와 같이 확인 할 수도 있지만 터미널에서 아래명령어 입력 sysctl hw.physicalcpu hw.logicalcpu

ThreadPoolTaskExecutor 멀티스레드 구현 스레드 풀을 사용하는 Executor org.springframework.scheduling.concurrent 패키지 테스트 @Configuration 으로 등록한 클레스에 executor @Bean 을 추가 하여구현 할 수도 있으나 @Async 를 이용하여 구현 package com.curi.log.config; import lombok.RequiredArgsConstructor; import lombok.extern.slf4j.Slf4j; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; im..

파케이(Parquet)이란, 많은 양의 데이터를 처리하는데에 들어가는 시간과 비용을 절약하기 위해서 기존의 일반적인 행 기반(Row-based) 포맷이 아닌 열 기반(Column-based) 포맷의 처리를 말합니다. 파케이는 열 기반(Column-based) 포맷의 다른 종류인 ORC와 유사하지만, ORC는 Hive 최적화 / Parquet는 Apache 솔루션에 최적화 되어 있습니다. 테스트 해보자 CSV를 Parquet 파일로 저장 products.csv name 루이비통 pyarrow 를 설치해보자 pip install pyarrow csv 를 parquet 변환 생성 import pyarrow.parquet as pq from pyarrow import csv pq.write_table(csv.r..

PUT doo_shingle { "settings": { "analysis": { "filter": { "doo_shingle_filter": { "type": "shingle", "min_shingle_size": 3, "max_shingle_size": 4 } } } } } min_shingle_size / max_shingle_size : shingle의 최소 / 최대 단어 개수를 지정. 디폴트는 모두 2 output_unigrams : Shingle 외에도 각각의 개별 토큰(unigram)도 저장 하는지의 여부를 설정. 디폴트는 true output_unigrams_if_no_shingles : shingle 을 만들 수 없는 경우에만 개별 토큰을 저장하는지의 여부를 설정 디폴트는 false to..