개발잡부

애널라이저 테스트 GET _analyze { "text": "The quick brown fox jumps over the lazy dog", "tokenizer": "whitespace", "filter": [ "lowercase", "stop", "snowball" ] } 결과가 이렇게 나오는디.. 음.. whitespace 를 거치면서 공백으로 나누어 진 토큰 들을 lowercase 에서 소문자로 변경, 그 후에 stop (불용어) 필터 에서 the 가 제거, snowball 필터에서 jumps 가 jump 로 변경 등록된 Analyzer 를 통해 테스트 GET _analyze { "text": "The quick brown fox jumps over the lazy dog", "analyzer":..

Mac OS Big Sur 11.6 설치되어 있나??? mvn -v mvn 설치 Homebrew를 사용한 메이블 설치명령어 brew install maven 에러 case 1 에러 case 2 Error: You are using macOS 10.14. We (and Apple) do not provide support for this old version. 아.. 망할노무 회사야 돈좀 쓰자 OS 업데이트 못하게 했으니.. maven 버전을 낮춰서 설치해봄 repository 버전확인 brew search maven (base) ➜ ~ brew search maven ==> Formulae maven maven-completion maven-shell maven@3.2 maven@3.3 maven@3.5..

Elasticsearch : PUT _component_template/component_template1 { "template": { "mappings": { "properties": { "@timestamp": { "type": "date" } } } } } PUT _component_template/runtime_component_template { "template": { "mappings": { "runtime": { "day_of_week": { "type": "keyword", "script": { "source": "emit(doc['@timestamp'].value.dayOfWeekEnum.getDisplayName(TextStyle.FULL, Locale.ROOT))" } } } } }..

검색 페이지 이미지 선택 검색 결과 개발환경 MacOS java 14 springboot thymereaf axios OpevCV 4.5.0 Mysql Elasticsearch 7.13 kibana 7.13 docker bootstrap 색인 이미지 백터 추출 dense_vector type 으로 색인 검색 이미지 백터 추출 cosineSimilarity 검색 색인 크롤링을 통해 상품의 정보와 이미지 + 이미지백터 추출 크롤링은 블락걸릴 위험이 있어서 리스트에서 1초 상품정보에서 1초 재웠다가 실행시킴 크롤링을 통해 얻은 이미지 URL 파일을 내려받아 discripter 추출 SIFT.create().detectAndCompute(image, mask, keyPointOfImages, discripter..

시스템환경 OS: aws Linux wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.9.2-linux-x86_64.tar.gz wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.9.2-linux-x86_64.tar.gz.sha512 sudo yum install -y perl-Digest-SHA shasum -a 512 -c elasticsearch-7.9.2-linux-x86_64.tar.gz.sha512 tar -xzf elasticsearch-7.9.2-linux-x86_64.tar.gz cd elasticsearch-7.9.2/ ca..

Elasticsearch는 보안 관리자와 함께 실행됩니다. 보안 관리자가있는 경우 JVM은 기본적으로 양의 호스트 이름 확인을 무기한 캐싱하고 기본적으로 10 초 동안 음의 호스트 이름 확인을 캐싱합니다. Elasticsearch는이 동작을 기본값으로 재정 의하여 60 초 동안 긍정적 인 조회를 캐시하고 10 초 동안 부정적인 조회를 캐시합니다. 이러한 값은 DNS 확인이 시간에 따라 달라지는 환경을 포함하여 대부분의 환경에 적합해야합니다. 그렇지 않은 경우에는 값을 편집 할 수 있습니다 es.networkaddress.cache.ttl및 es.networkaddress.cache.negative.ttl 의 JVM 옵션 . 값 참고 networkaddress.cache.ttl= 및 networkaddre..

스레드 수 Elasticsearch는 다양한 유형의 작업에 여러 스레드 풀을 사용합니다. 필요할 때마다 새 스레드를 만들 수있는 것이 중요합니다. Elasticsearch 사용자가 만들 수있는 스레드 수가 최소 4096 개인 지 확인합니다. 이것은 설정하여 수행 할 수 있습니다 ulimit -u 4096, Elasticsearch을 시작하기 전에 또는 설정하여 루트로 nproc에 4096에서 /etc/security/limits.conf. 서비스로 실행될 때 패키지 배포 systemd는 Elasticsearch 프로세스의 스레드 수를 자동으로 구성합니다. 추가 구성이 필요하지 않습니다.

Elasticsearch는 mmapfs기본적으로 디렉토리를 사용하여 색인을 저장합니다. mmap 수에 대한 기본 운영 체제 제한이 너무 낮기 때문에 메모리 부족 예외가 발생할 수 있습니다. Linux에서는 다음 명령을 다음과 같이 실행하여 제한을 늘릴 수 있습니다 root. sysctl -w vm.max_map_count=262144 영구적으로이 값을 설정하려면 업데이트 vm.max_map_count의 설정을 /etc/sysctl.conf. 재부팅 후 확인하려면을 실행하십시오 sysctl vm.max_map_count. RPM 및 Debian 패키지는이 설정을 자동으로 구성합니다. 추가 구성이 필요하지 않습니다.

파일 설명자 이는 Linux 및 macOS에만 해당되며 Windows에서 Elasticsearch를 실행하는 경우 무시해도됩니다. Windows에서 JVM은 사용 가능한 리소스에 의해서만 제한된 API 를 사용합니다. Elasticsearch는 많은 파일 설명자 또는 파일 핸들을 사용합니다. 파일 설명자가 부족하면 재앙이 될 수 있으며 데이터 손실로 이어질 수 있습니다. Elasticsearch를 실행하는 사용자의 열린 파일 설명자 수 제한을 65,536 이상으로 늘려야합니다. 들어 .zip및 .tar.gz설정 패키지, ulimit -n 65535 Elasticsearch, 또는 세트를 시작하기 전에 루트로 nofile에 65535에서 /etc/security/limits.conf. macOS -XX:-..

스와핑 비활성화 대부분의 운영 체제는 파일 시스템 캐시에 가능한 한 많은 메모리를 사용하고 사용되지 않는 응용 프로그램 메모리를 열심히 교체하려고합니다. 이로 인해 JVM 힙의 일부 또는 실행 가능한 페이지가 디스크로 스왑 될 수 있습니다. 스와핑은 성능과 노드 안정성에 매우 나쁘기 때문에 어떤 대가를 치르더라도 피해야합니다. 가비지 수집 이 밀리 초가 아닌 몇 분 동안 지속될 수 있으며 노드가 느리게 응답하거나 클러스터에서 연결이 끊어 질 수 있습니다. 탄력적 인 분산 시스템에서는 운영 체제가 노드를 죽 이도록하는 것이 더 효과적입니다. 스와핑을 비활성화하는 방법에는 세 가지가 있습니다. 선호되는 옵션은 스왑을 완전히 비활성화하는 것입니다. 이것이 옵션이 아닌 경우 스왑 파이 최소화와 메모리 잠금을 선..