개발잡부

Logrotate 사용 (elasticsearch , logstash) logrotate 설치 확인 rpm -qa | grep logrotate 설치되어있지 않다면 yum으로 설치 yum -y install logrotate logrotate 설정 파일 생성 sudo vi /etc/logrotate.d/{서비스명} elasticsearch - sudo vi /etc/logrotate.d/elasticsearch* PRD 환경은 -mtime +30 으로 수정 elasticsearch "/log/elasticsearch/*.gz" { su root root daily missingok rotate 0 postrotate /usr/bin/find /log/elasticsearch/ -name "*.gz" -t..

# 백그라운드 실행 빌드 옵션 docker compose up -d --build #생성된 컨테이너 중지/삭제 docker compose down docker-compose.yml version: '3.2' services: elasticsearch: container_name: doo_es build: context: elasticsearch/ args: ELK_VERSION: $ELK_VERSION volumes: - type: bind source: ./elasticsearch/config/elasticsearch.yml target: /usr/share/elasticsearch/config/elasticsearch.yml read_only: true - type: volume source: ela..

시스템환경 OS: aws Linux wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.9.2-linux-x86_64.tar.gz wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.9.2-linux-x86_64.tar.gz.sha512 sudo yum install -y perl-Digest-SHA shasum -a 512 -c elasticsearch-7.9.2-linux-x86_64.tar.gz.sha512 tar -xzf elasticsearch-7.9.2-linux-x86_64.tar.gz cd elasticsearch-7.9.2/ ca..

Elasticsearch는 보안 관리자와 함께 실행됩니다. 보안 관리자가있는 경우 JVM은 기본적으로 양의 호스트 이름 확인을 무기한 캐싱하고 기본적으로 10 초 동안 음의 호스트 이름 확인을 캐싱합니다. Elasticsearch는이 동작을 기본값으로 재정 의하여 60 초 동안 긍정적 인 조회를 캐시하고 10 초 동안 부정적인 조회를 캐시합니다. 이러한 값은 DNS 확인이 시간에 따라 달라지는 환경을 포함하여 대부분의 환경에 적합해야합니다. 그렇지 않은 경우에는 값을 편집 할 수 있습니다 es.networkaddress.cache.ttl및 es.networkaddress.cache.negative.ttl 의 JVM 옵션 . 값 참고 networkaddress.cache.ttl= 및 networkaddre..

스레드 수 Elasticsearch는 다양한 유형의 작업에 여러 스레드 풀을 사용합니다. 필요할 때마다 새 스레드를 만들 수있는 것이 중요합니다. Elasticsearch 사용자가 만들 수있는 스레드 수가 최소 4096 개인 지 확인합니다. 이것은 설정하여 수행 할 수 있습니다 ulimit -u 4096, Elasticsearch을 시작하기 전에 또는 설정하여 루트로 nproc에 4096에서 /etc/security/limits.conf. 서비스로 실행될 때 패키지 배포 systemd는 Elasticsearch 프로세스의 스레드 수를 자동으로 구성합니다. 추가 구성이 필요하지 않습니다.

Elasticsearch는 mmapfs기본적으로 디렉토리를 사용하여 색인을 저장합니다. mmap 수에 대한 기본 운영 체제 제한이 너무 낮기 때문에 메모리 부족 예외가 발생할 수 있습니다. Linux에서는 다음 명령을 다음과 같이 실행하여 제한을 늘릴 수 있습니다 root. sysctl -w vm.max_map_count=262144 영구적으로이 값을 설정하려면 업데이트 vm.max_map_count의 설정을 /etc/sysctl.conf. 재부팅 후 확인하려면을 실행하십시오 sysctl vm.max_map_count. RPM 및 Debian 패키지는이 설정을 자동으로 구성합니다. 추가 구성이 필요하지 않습니다.

파일 설명자 이는 Linux 및 macOS에만 해당되며 Windows에서 Elasticsearch를 실행하는 경우 무시해도됩니다. Windows에서 JVM은 사용 가능한 리소스에 의해서만 제한된 API 를 사용합니다. Elasticsearch는 많은 파일 설명자 또는 파일 핸들을 사용합니다. 파일 설명자가 부족하면 재앙이 될 수 있으며 데이터 손실로 이어질 수 있습니다. Elasticsearch를 실행하는 사용자의 열린 파일 설명자 수 제한을 65,536 이상으로 늘려야합니다. 들어 .zip및 .tar.gz설정 패키지, ulimit -n 65535 Elasticsearch, 또는 세트를 시작하기 전에 루트로 nofile에 65535에서 /etc/security/limits.conf. macOS -XX:-..

스와핑 비활성화 대부분의 운영 체제는 파일 시스템 캐시에 가능한 한 많은 메모리를 사용하고 사용되지 않는 응용 프로그램 메모리를 열심히 교체하려고합니다. 이로 인해 JVM 힙의 일부 또는 실행 가능한 페이지가 디스크로 스왑 될 수 있습니다. 스와핑은 성능과 노드 안정성에 매우 나쁘기 때문에 어떤 대가를 치르더라도 피해야합니다. 가비지 수집 이 밀리 초가 아닌 몇 분 동안 지속될 수 있으며 노드가 느리게 응답하거나 클러스터에서 연결이 끊어 질 수 있습니다. 탄력적 인 분산 시스템에서는 운영 체제가 노드를 죽 이도록하는 것이 더 효과적입니다. 스와핑을 비활성화하는 방법에는 세 가지가 있습니다. 선호되는 옵션은 스왑을 완전히 비활성화하는 것입니다. 이것이 옵션이 아닌 경우 스왑 파이 최소화와 메모리 잠금을 선..