일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- matplotlib
- ELASTIC
- Elasticsearch
- sort
- plugin
- query
- licence delete curl
- aggregation
- Python
- TensorFlow
- aggs
- MySQL
- License
- Test
- API
- zip 파일 암호화
- 900gle
- Java
- zip 암호화
- analyzer test
- token filter test
- docker
- Mac
- license delete
- high level client
- 파이썬
- flask
- springboot
- Kafka
- 차트
- Today
- Total
목록전체 글 (460)
개발잡부
개발환경MacOsdocker 설치docker-compose.yml# 파일 규격 버전version: "3.1"# 실행하려는 컨테이너들 정의services: # 서비스명 redis_container: # 사용할 이미지 image: redis:latest # 컨테이너명 container_name: redis # 접근 포트 설정(컨테이너 외부:컨테이너 내부) ports: - 6379:6379 # 스토리지 마운트(볼륨) 설정 volumes: - ./redis/data:/data - ./redis/conf/redis.conf:/usr/local/conf/redis.conf # 컨테이너에 docker label을 이용해서 메타데이터 추가 ..
1. Redis 도커 이미지 가져오기일단 Redis 도커 이미지가 필요합니다. docker pull 명령어로 redis 최신 버전을 가져옵니다.docker pull redis이미지를 잘 가져왔는지 확인하려면 docker images 명령어로 확인합니다.2. docker-compose.yml 작성다음과 같이 docker-compose.yml 파일을 작성합니다.# 파일 규격 버전version: "3.1"# 실행하려는 컨테이너들 정의services: # 서비스명 redis_container: # 사용할 이미지 image: redis:latest # 컨테이너명 container_name: redis_test # 접근 포트 설정(컨테이너 외부:컨테이너 내부) ports: ..
회원번호는 DB 상에 bigint 로 색이되어 있다. 2억번대 회원 번호는 비회원이라 색인할 필요가 없어서 제거해서 배포한 상황그러다 보니 약 300만건의 데이터 차이가 났는데 원인을 몰라서 고민하던중에 확인해봄 일단 조회쿼리 GET hyper-order-item_2024.05.07.13.37/_search{ "track_total_hits": true, "query": { "bool": { "filter": [ { "regexp": { "userNo": "[0-9]{9,}" } }, { "prefix": { "userNo": "2" } ..
우선 결론부터 #!/bin/bash # Conda 환경 이름을 설정합니다. CONDA_ENV_NAME="doo" # Conda를 실행하여 환경을 활성화합니다. source /Users/doo/opt/anaconda3/bin/activate $CONDA_ENV_NAME cd /Users/doo/doo_py/homeplus/data python easy-pickup.py conda deactivate 간단한 쉘 스크립트 crontab 에 등록하려고 했는데 라이브러리 중에 LaunchDeamons 에 등록해서 사용 LaunchDaemons 등록 이동 cd /Library/LaunchDaemons LaunchDaemons 에 파일 생성이지만 권한이 귀찮으니 cp -af 로 이미 있는 파일 복사 sudo vi c..
인덱스 복사 # -*- coding: utf-8 -*- import time import json import datetime as dt from datetime import datetime from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk import requests import ssl import urllib3 from time import sleep from urllib import parse from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor print(ssl.OPENSSL_VERSION) urllib3.disable_warnings..
소스트리에서 프로젝트를 검색해보자 마우스 더블클릭 혹은 우클릭으로 체크아웃을 통해 브랜치를 체크아웃 하고 현재 브랜치를 선택한다. 우측으로 쭈~~~ 욱 가보면 커밋내역이 있는데 해당커밋을 선택하고 마우스 우클릭을 해보면 다음과 같은 메뉴가 나온다 여기서 커밋 되돌리기를 선택하면 해당 커밋이 날라감... 수정내역을 푸시해주면 끗
# -*- coding: utf-8 -*- import time import json import datetime as dt from datetime import datetime import asyncio import aiohttp from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk import requests import ssl import urllib3 from time import sleep from urllib import parse from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor print(ssl.OPENSSL_VERSION) u..
에러메시지 elasticsearch.exceptions.ConnectionTimeout: ConnectionTimeout caused by - ReadTimeoutError(HTTPSConnectionPool(host='searchlog-도메인', port=443): Read timed out. (read timeout=10)) 결론 부터 timeout, max_retries, retry_on_timeout을 각각 설정해주면 됨 log_client = Elasticsearch("https://elastic:elastic1!@searchlog-es.도메인:443/", timeout=30, max_retries=10, retry_on_timeout=True, ca_certs=False, verify_cert..
Elasticsearch의 hot_threads API는 클러스터 내에서 CPU가 높게 사용되는 스레드 정보를 제공하는 엔드포인트입니다. 이를 통해 어떤 작업이 CPU를 많이 사용하고 있는지를 식별하고 성능 이슈를 해결할 수 있음 Hot Threads API 사용 방법: cURL을 사용한 기본 사용법 curl -X GET "localhost:9200/_nodes/hot_threads?pretty" 위 명령은 로컬 호스트의 9200번 포트에서 실행 중인 Elasticsearch에 연결하고, 각 노드의 hot threads 정보를 출력. 위 명령은 각 노드에서 상위 5개의 hot threads만 출력합니다. threads 파라미터를 사용하여 출력할 스레드의 수를 조절할 수 있음 curl -X GET "loc..
샤드의 정보를 확인해보고 싶었다. _cat 을 사용 GET /_cat/shards/hyper-item 결과 cat 은 다양한 정보를 제공한다. /_cat/shards /_cat/shards/{index} /_cat/master /_cat/nodes /_cat/tasks /_cat/indices /_cat/indices/{index} /_cat/segments /_cat/segments/{index} /_cat/count /_cat/count/{index} /_cat/recovery /_cat/recovery/{index} /_cat/health /_cat/pending_tasks /_cat/aliases /_cat/aliases/{alias} /_cat/thread_pool /_cat/thread_poo..