개발잡부

ssl 인증을 하지 않게하니 client = Elasticsearch("https://id:pw@host:443/", ca_certs=False, verify_certs=False) 경고가 겁나 날라온다. 모니터링 하는데 방해가 되서 메시지를 안뜨게 처리 해야겠다 아래와 같이 urllib3를 불러와서 워닝을 지워준다 import urllib3 urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

키워드별 속성 정보를 수정했는데.. as-is 와 to-be 의 데이터가 일치 해야 하는지 검증이 필요하다. 전체카운트를 구하고 키워드를 추출해서 키워드별 속성을 집계(aggregation) 결과를 파일로 추출 doo 의 가상환경으로 conda activate doo ed /Users/doo/doo_py/똥플러스/attribute python attr/qa_test.py 원랜 아래와 같았지만 스토어 별 전수검사로 변경 # -*- coding: utf-8 -*- import json import time import datetime as dt import urllib3 from elasticsearch import Elasticsearch urllib3.disable_warnings(urllib3.exce..

회사에서 일을 하다보면 가끔 능지가 박살난 사람을 만나게 된다. 어드민에 관리할수 있는기능이 있는데도 손가락이 공주님이라 그마저도 하기 싫어서 자동으로 만들어 달라고 하는 .. 선량한 개발자들이 우리회사 같은곳을 잘 걸러야 할텐데.. 검색시에 속성필터정보를 따로 호출 하는데 이 속성필터를 검색결과에 없으면 제거해달라는 능지 박살난 소리를 처리해보자 쿼리에서 집계를 해야하고 그 집계로 속성필터에서 유효한 값만 리턴해줘야 하니.. 성능에 이슈가 있어보인다. 루프는 최소한으로 .. 처리해서 실행시간을 측정 검색 API 와 중계(mashup) API 를 같이 호출해보고 실행시간을 기록한다. 결과는 아래와 같이 # -*- coding: utf-8 -*- import time import json import re..

https://ldh-6019.tistory.com/476 [python] mysql 연동 - PyMySQL Python의 MySql모듈 설치 Python의 MySql모듈 PyMySQL mysql-connector-python ( >= MySQL 8.0) or mysql.connector (< MySQL 8.0) PyMySQL를 이용하여 접근하는 방법 $ pip install PyMySQL 버전확인 pip3 -V conda activate text require.txt 파일 ldh-6019.tistory.com 아까 만들어 놓은 DB 연동을 활용해서 json file 만들어 보자 # -*- coding: utf-8 -*- import json import pymysql con = pymysql.conne..

Python의 MySql모듈 설치 Python의 MySql모듈 PyMySQL mysql-connector-python ( >= MySQL 8.0) or mysql.connector (< MySQL 8.0) PyMySQL를 이용하여 접근하는 방법 $ pip install PyMySQL 버전확인 pip3 -V conda activate text require.txt 파일에 PyMySQL추가 의존성 주입 pip3 install -r require.txt RuntimeError: 'cryptography' package is required for sha256_password or caching_sha2_password auth methods pip install cryptography Python에서 MySQ..

키바나에서 쓰던 쿼리를 바로 조회 해보자 high level client 를 사용를 사용하고 있는 api 에서 쿼리를 추출해보면 아래과 같은 형태가 나오는데 .. 이걸 데이터를 뽑아서 증거품을 만들어야 하는 상황.. 근데 python 소스에 string 으로 발라서 넣으려고 하니까 true 라든지.. 숫자라든지.. 암튼 걸리는 것들이 있어 json 파일로 만들어서 불러오는 방법 사용 json 파일 셈플 { "from": 0, "size": 20, "timeout": "60s", "query": { "bool": { "filter": [{ "range": { "saleStartDt": { "from": null, "to": "now/m", "include_lower": true, "include_upper..

엑셀로 넘겨줄테니 DB에 일괄 업데이터 처달라는 .. 소리를.. 히발.. 어드민 있자나.. 손가락이 공주님이냐 라고 속으로 말한 후 작업을 해보자 conda 는 에전에 만들어 놓았던 doo 환경에서 $conda activate doo $cd / $python sql/sortweight_easy_pickup.py # -*- coding: utf-8 -*- ##### FILE ##### def csv_data(): f_v = open("update_sort_weight.sql",'w') with open(CSV_FILE) as data_file: for line in data_file: line = line.strip() lineArray = line.split(',') sql_v = "UPDATE `ite..

Traceback (most recent call last): File "health.py", line 10, in from hurry.filesize import size ModuleNotFoundError: No module named 'hurry' pip install hurry.filesize print(size(data['nodes']['rqY3qvGvRGS2nVg_eygJAQ']['os']['mem']['total_in_bytes']))

# data = client.cat.shards('hyper-item') data = client.nodes.stats() print(data) # es.cat.indices(h='index', s='index').split() from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk import numpy as np import matplotlib.pyplot as plt import pprint as ppr import json import time import threading def nodes_stats(): data = client.nodes.stats() return [data['nodes']['sZyeNvOx..

/Users/doo/opt/anaconda3/envs/doo/lib/python3.7/site-packages/urllib3/connectionpool.py:988: InsecureRequestWarning: Unverified HTTPS request is being made to host 'category-es-dev.homeplus.kr'. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings InsecureRequestWarning, import urllib3 urllib3.disable_warnings(urllib3..