개발잡부

쿼리 튜닝을 해서 배포를 했는데 데이터를 검증 해야한다.. 근데 .. 양이 많네.. promoInfos 정보를 가져오는 부분이 쿼리가 튜닝 되었으니 해당 정보만 가져온다. { "track_total_hits": true, "size": 10000, "_source": [ "itemNo", "itemStoreInfo.storeId", "promoInfos" ], "query": { "bool": { "must": [ { "exists": { "field": "promoInfos" } }, { "term": { "itemStoreInfo.stor..

인덱스 복사 # -*- coding: utf-8 -*- import time import json import datetime as dt from datetime import datetime from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk import requests import ssl import urllib3 from time import sleep from urllib import parse from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor print(ssl.OPENSSL_VERSION) urllib3.disable_warnings..

# -*- coding: utf-8 -*- import time import json import datetime as dt from datetime import datetime import asyncio import aiohttp from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk import requests import ssl import urllib3 from time import sleep from urllib import parse from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor print(ssl.OPENSSL_VERSION) u..

에러메시지 elasticsearch.exceptions.ConnectionTimeout: ConnectionTimeout caused by - ReadTimeoutError(HTTPSConnectionPool(host='searchlog-도메인', port=443): Read timed out. (read timeout=10)) 결론 부터 timeout, max_retries, retry_on_timeout을 각각 설정해주면 됨 log_client = Elasticsearch("https://elastic:elastic1!@searchlog-es.도메인:443/", timeout=30, max_retries=10, retry_on_timeout=True, ca_certs=False, verify_cert..

kibana 에서 대시보드를 만들려고 하는데 시계열 데이터를 만들고 싶어서 DB에서 날짜를 임의로 업데이트를 해야겠다. python 에서 몇분전, 몇시간전 이런 식으로 날짜를 계산하고싶은데 datetime 을 활용해보잣. from datetime import datetime now = datetime.now() print("현재 :" , now) 출력 : 현재 : 2024-02-03 18:57:38.572549 timedelta를 사용해서 날짜 계산을 할껀데 import를 수정하고 from datetime import datetime, timedelta 마이크로 세컨드를 계산해보면 before_one_microsecond = now - timedelta(microseconds=1) print("1 mic..

# -*- coding: utf-8 -*- import time import json import requests import ssl import urllib3 from ssl import create_default_context import matplotlib.pyplot as plt from matplotlib.collections import EventCollection import numpy as np from time import sleep plt.rcParams['font.family'] = 'AppleGothic' print(ssl.OPENSSL_VERSION) urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning) def c..

Database 를 조회 하여 json 파일을 만들어 보자 왜만드냐 하면 내 컴터성능이.. 찌글하여.. container 를 여러개 띄우기가 부담스러워서.. MySql 컨테이너는 DB 데이터를 조회할때만 띄우고 json 파일로 만들어서 파일을 색인 하는 방향으로 테스트를 진행 프로젝트 경로로 이동 /Users/doo/project/tf-embeddings/db 가상환경 실행 conda activate doo 파일 실행 python db_select_extract_json.py 결과 파일 생성 db_select_extract_json.py # -*- coding: utf-8 -*- import json import pymysql con = pymysql.connect(host='localhost', use..

conda info --envs conda activate nlp brew install openssl conda install gdaly base * /Users/doo/opt/anaconda3 900gle /Users/doo/opt/anaconda3/envs/900gle doo /Users/doo/opt/anaconda3/envs/doo image /Users/doo/opt/anaconda3/envs/image nlp /Users/doo/opt/anaconda3/envs/nlp py38 /Users/doo/opt/anaconda3/envs/py38 rnn /Users/doo/opt/anaconda3/envs/rnn tesla /Users/doo/opt/anaconda3/envs/tesla text /..

symspellpy 테스트 해보고 구글 코랩 접속 -> 새노트 We can use load_dictionary(): 모듈 설치하고 pip install symspellpy from itertools import islice import pkg_resources from symspellpy import SymSpell sym_spell = SymSpell() dictionary_path = pkg_resources.resource_filename( "symspellpy", "frequency_dictionary_en_82_765.txt" ) sym_spell.load_dictionary(dictionary_path, 0, 1) # Print out first 5 elements to demonstrate ..

파일의 카운트를 비교하여 데이터의 일치여부를 판단. def compare_row(file_name): a = open(file_a + file_name, 'r') b = open(file_b + file_name, 'r') row_a = len(a.readlines()) row_b = len(b.readlines()) a.close() b.close() if row_a == row_b : return True else: return False myFile = open('파일명', 'r') {내용} myFile.close() {내용} 을 코딩 1. read() 라인 수를 구한다는 이야기는 줄바꿈 문자('\n') 의 갯수를 구한다는 이야기와 같으므로 print(myFile.read().count("\n")..