개발잡부

우선 결론부터 #!/bin/bash # Conda 환경 이름을 설정합니다. CONDA_ENV_NAME="doo" # Conda를 실행하여 환경을 활성화합니다. source /Users/doo/opt/anaconda3/bin/activate $CONDA_ENV_NAME cd /Users/doo/doo_py/homeplus/data python easy-pickup.py conda deactivate 간단한 쉘 스크립트 crontab 에 등록하려고 했는데 라이브러리 중에 LaunchDeamons 에 등록해서 사용 LaunchDaemons 등록 이동 cd /Library/LaunchDaemons LaunchDaemons 에 파일 생성이지만 권한이 귀찮으니 cp -af 로 이미 있는 파일 복사 sudo vi c..

인덱스 복사 # -*- coding: utf-8 -*- import time import json import datetime as dt from datetime import datetime from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk import requests import ssl import urllib3 from time import sleep from urllib import parse from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor print(ssl.OPENSSL_VERSION) urllib3.disable_warnings..

소스트리에서 프로젝트를 검색해보자 마우스 더블클릭 혹은 우클릭으로 체크아웃을 통해 브랜치를 체크아웃 하고 현재 브랜치를 선택한다. 우측으로 쭈~~~ 욱 가보면 커밋내역이 있는데 해당커밋을 선택하고 마우스 우클릭을 해보면 다음과 같은 메뉴가 나온다 여기서 커밋 되돌리기를 선택하면 해당 커밋이 날라감... 수정내역을 푸시해주면 끗

# -*- coding: utf-8 -*- import time import json import datetime as dt from datetime import datetime import asyncio import aiohttp from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk import requests import ssl import urllib3 from time import sleep from urllib import parse from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor print(ssl.OPENSSL_VERSION) u..

에러메시지 elasticsearch.exceptions.ConnectionTimeout: ConnectionTimeout caused by - ReadTimeoutError(HTTPSConnectionPool(host='searchlog-도메인', port=443): Read timed out. (read timeout=10)) 결론 부터 timeout, max_retries, retry_on_timeout을 각각 설정해주면 됨 log_client = Elasticsearch("https://elastic:elastic1!@searchlog-es.도메인:443/", timeout=30, max_retries=10, retry_on_timeout=True, ca_certs=False, verify_cert..

Elasticsearch의 hot_threads API는 클러스터 내에서 CPU가 높게 사용되는 스레드 정보를 제공하는 엔드포인트입니다. 이를 통해 어떤 작업이 CPU를 많이 사용하고 있는지를 식별하고 성능 이슈를 해결할 수 있음 Hot Threads API 사용 방법: cURL을 사용한 기본 사용법 curl -X GET "localhost:9200/_nodes/hot_threads?pretty" 위 명령은 로컬 호스트의 9200번 포트에서 실행 중인 Elasticsearch에 연결하고, 각 노드의 hot threads 정보를 출력. 위 명령은 각 노드에서 상위 5개의 hot threads만 출력합니다. threads 파라미터를 사용하여 출력할 스레드의 수를 조절할 수 있음 curl -X GET "loc..

샤드의 정보를 확인해보고 싶었다. _cat 을 사용 GET /_cat/shards/hyper-item 결과 cat 은 다양한 정보를 제공한다. /_cat/shards /_cat/shards/{index} /_cat/master /_cat/nodes /_cat/tasks /_cat/indices /_cat/indices/{index} /_cat/segments /_cat/segments/{index} /_cat/count /_cat/count/{index} /_cat/recovery /_cat/recovery/{index} /_cat/health /_cat/pending_tasks /_cat/aliases /_cat/aliases/{alias} /_cat/thread_pool /_cat/thread_poo..

결론부터 format(buckets["doc_count"],',') 그렇다 이렇게 하면 숫자 3자리 마다 콤마(,) 가 찍힌다. 날짜구간: 2024-02-05 ~ 2024-02-06 확장검색 전체: 114,274건 * 일반 쿼리: 113,675건 * 슬로우 쿼리: 599건 - 확장검색 상세 - * 0ms ~ 1000ms: 111,250건 * 1000ms ~ 2000ms: 1,708건 * 2000ms ~ 3000ms: 717건 * 3000ms ~ : 599건 - 확장검색 슬로우 상세 - * 3000ms ~ 4000ms: 325건 * 4000ms ~ 5000ms: 147건 * 5000ms ~ : 127건 - 검색결과 상세 - * 1 ~ 100: 58,322건 * 100 ~ 1000: 12,161건 * 100..

kibana 에서 대시보드를 만들려고 하는데 시계열 데이터를 만들고 싶어서 DB에서 날짜를 임의로 업데이트를 해야겠다. python 에서 몇분전, 몇시간전 이런 식으로 날짜를 계산하고싶은데 datetime 을 활용해보잣. from datetime import datetime now = datetime.now() print("현재 :" , now) 출력 : 현재 : 2024-02-03 18:57:38.572549 timedelta를 사용해서 날짜 계산을 할껀데 import를 수정하고 from datetime import datetime, timedelta 마이크로 세컨드를 계산해보면 before_one_microsecond = now - timedelta(microseconds=1) print("1 mic..

아마도 6 버전인듯한데.. http 통신을 하는 플러그인을 제한 해서 head 를 설치를 못하고 chrome 브라우저 앱으로 사용했던 것 같다. 일단 head 란 뭐냐.. elasticsearch 필수 플러그인으로 활약하던 과거의 영광이 있던 플러그인이지만. .. 지금은 개발자들이 잘 안쓰는듯.. 좀 허접하게 생기긴했으나. 직관적으로 노드, 샤드 및 클러스터 상태를 확인할 수 있어서 난 아직도 사용 중 설치하러 가보자. 구글검색페이지 우측 상단에 점 9개짜리 버튼을 눌러보면 크롬 웹스토어 라는것이 있다. 접속하면 이런 화면이 나오는데 우측 상단 검색창에 elasticsearch 라고 검색해보자 검색결과 별점은 낮지만 최상단에 있는 Multi Elasticsearch Head 가 있다. Multi ? 내가..