개발잡부

인덱스 생성 PUT nested-object-test { "mappings": { "properties": { "metaDates": { "type": "nested", "properties": { "value": { "type": "float" } } } } } } 데이터 색인 PUT /nested-object-test/_doc/1 { "somefield": "this is a field", "someotherfield": "this is some other field", "metaDates": [ { "name": "create-time", "value": 1 }, { "name": "update-time", "value": 1 }, { "name": "some-other-time", "value":..

검색결과 내부 object 를 정렬 해보자 작업중.. DELETE sort_doo PUT sort_doo { "settings": { "index": { "number_of_shards": 3, "number_of_replicas": 0 } }, "mappings": { "properties": { "keyword": { "type": "keyword" }, "attribute": { "properties": { "name": { "type": "text" }, "contry": { "properties": { "name": { "type": "text" }, "weight": { "type": "float" } } } } } } } } PUT sort_doo/_doc/1 { "keyword": "포도주..

[tomcat@ip-172-31-57-86 logs]$ cat localhost_access_log.2022-12-17.txt | egrep "2022:15:5[5-9]" | wc 13248 132480 1781207 [tomcat@ip-172-31-57-86 logs]$ cat localhost_access_log.2022-12-18.txt | egrep "2022:15:5[5-9]" | wc 36671 366710 5006929

노드 속성을 사용하여 hot-warm-cold 아키텍처를 구현하는 방식은 더 이상 권장되지 않습니다. Elasticsearch 7.10 은 데이터 수명 주기 구성을 덜 복잡하게 만들었습니다. 이 블로그 게시물에서는 몇 가지 변경 사항, 사용 방법 및 그 과정에서 몇 가지 모범 사례를 살펴보겠습니다. 데이터 수명 주기는 많은 단계를 포함할 수 있으므로 다음을 살펴보겠습니다. 클러스터를 계층(핫, 웜, 콜드)으로 분할하여 새 데이터가 올바른 위치로 이동하도록 합니다. 계층 간에 데이터를 마이그레이션하기 위해 인덱스 수명 주기 관리(ILM) 내에서 이러한 계층을 활용합니다. 검색 가능한 스냅샷을 사용하여 콜드 계층 내에서 데이터 밀도를 높입니다. 데이터가 계층을 통해 흐르는 방식에 대한 실제 예와 함께 모든 ..

사과메뉴 - 이 Mac에 관하여 하면 아래와 같이 확인 할 수도 있지만 터미널에서 아래명령어 입력 sysctl hw.physicalcpu hw.logicalcpu

ThreadPoolTaskExecutor 멀티스레드 구현 스레드 풀을 사용하는 Executor org.springframework.scheduling.concurrent 패키지 테스트 @Configuration 으로 등록한 클레스에 executor @Bean 을 추가 하여구현 할 수도 있으나 @Async 를 이용하여 구현 package com.curi.log.config; import lombok.RequiredArgsConstructor; import lombok.extern.slf4j.Slf4j; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; im..

파케이(Parquet)이란, 많은 양의 데이터를 처리하는데에 들어가는 시간과 비용을 절약하기 위해서 기존의 일반적인 행 기반(Row-based) 포맷이 아닌 열 기반(Column-based) 포맷의 처리를 말합니다. 파케이는 열 기반(Column-based) 포맷의 다른 종류인 ORC와 유사하지만, ORC는 Hive 최적화 / Parquet는 Apache 솔루션에 최적화 되어 있습니다. 테스트 해보자 CSV를 Parquet 파일로 저장 products.csv name 루이비통 pyarrow 를 설치해보자 pip install pyarrow csv 를 parquet 변환 생성 import pyarrow.parquet as pq from pyarrow import csv pq.write_table(csv.r..

PUT doo_shingle { "settings": { "analysis": { "filter": { "doo_shingle_filter": { "type": "shingle", "min_shingle_size": 3, "max_shingle_size": 4 } } } } } min_shingle_size / max_shingle_size : shingle의 최소 / 최대 단어 개수를 지정. 디폴트는 모두 2 output_unigrams : Shingle 외에도 각각의 개별 토큰(unigram)도 저장 하는지의 여부를 설정. 디폴트는 true output_unigrams_if_no_shingles : shingle 을 만들 수 없는 경우에만 개별 토큰을 저장하는지의 여부를 설정 디폴트는 false to..

#! The [edgeNGram] token filter name is deprecated and will be removed in a future version. Please change the filter name to [edge_ngram] instead. PUT doo_edge_ngram { "settings": { "analysis": { "filter": { "doo_edge_ngram_filter": { "type": "edge_ngram", "min_gram": 1, "max_gram": 4 } } } } } GET doo_edge_ngram/_analyze { "tokenizer": "keyword", "filter": [ "doo_edge_ngram_filter" ], "text": "..

NGram 을 검색에 이용해 보자 NGram unigram(유니그램 – 1글자) bigram(바이그램 - 2자) Elasticsearch는 NGram을 처리하는 토큰 필터를 제공하며 설정은 "type": "nGram" 으로 지정 #! The [nGram] token filter name is deprecated and will be removed in a future version. Please change the filter name to [ngram] instead. nGram 을 ngram 으로 해야 한다는.. PUT doo_ngram { "settings": { "analysis": { "filter": { "doo_ngram_filter": { "type": "ngram", "min_gram":..