개발잡부

900gle crawler 를 통해 수집된 데이터를 DB에 저장 후 json 파일로 저장 json 파일을 읽어 색인 생성 https://ldh-6019.tistory.com/477 [python] DB data to json file https://ldh-6019.tistory.com/476 [python] mysql 연동 - PyMySQL Python의 MySql모듈 설치 Python의 MySql모듈 PyMySQL mysql-connector-python ( >= MySQL 8.0) or mysql.connector (< MySQL 8.0) PyMySQL를 이용하여 접근하는 방법 $ pip install Py ldh-6019.tistory.com # -*- coding: utf-8 -*- import ..

https://ldh-6019.tistory.com/476 [python] mysql 연동 - PyMySQL Python의 MySql모듈 설치 Python의 MySql모듈 PyMySQL mysql-connector-python ( >= MySQL 8.0) or mysql.connector (< MySQL 8.0) PyMySQL를 이용하여 접근하는 방법 $ pip install PyMySQL 버전확인 pip3 -V conda activate text require.txt 파일 ldh-6019.tistory.com 아까 만들어 놓은 DB 연동을 활용해서 json file 만들어 보자 # -*- coding: utf-8 -*- import json import pymysql con = pymysql.conne..

Python의 MySql모듈 설치 Python의 MySql모듈 PyMySQL mysql-connector-python ( >= MySQL 8.0) or mysql.connector (< MySQL 8.0) PyMySQL를 이용하여 접근하는 방법 $ pip install PyMySQL 버전확인 pip3 -V conda activate text require.txt 파일에 PyMySQL추가 의존성 주입 pip3 install -r require.txt RuntimeError: 'cryptography' package is required for sha256_password or caching_sha2_password auth methods pip install cryptography Python에서 MySQ..

kibana dev tool 에서 메뉴가 disable 되어 있거나 해드로 접속했는데 접속이 안된다 근데 http://localhost:9200/ 는 접속이 된다 이러경우 트라이얼 라이센스가 만료되어 생기는 이슈.. 돈주고 살꺼 아니면 라이센르를 삭제 하자 접속이 된다!!

org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Cannot detect ES version - typically this happens if the network/Elasticsearch cluster is not accessible or when targeting a WAN/Cloud instance without the proper setting 'es.nodes.wan.only' es.nodes.wan.only = true 위의 옵션 해도 안되는 ... 다음 구성 속성도 추가해야 했습니다. es.net.ssl = true

간만에 ES 테스트 N-gram tokenizer 우선 프로젝트로 이동 es8.6환경 만들어 놓은게 있으니 활용 cd /Users/doo/docker/es8.6.2 docker compose up -d --build 아 역시나 이럴줄 .. 900gle es 로 변경 - es 7.15.1 cd /Users/doo/project/900gle/docker/elastic-stack docker compose up -d --build ngram 토크나이저로 home 을 분해해 보면 아래와 같이 분해가 된다 { "tokens" : [ { "token" : "h", "start_offset" : 0, "end_offset" : 1, "type" : "word", "position" : 0 }, { "token" : ..

테이블 구조 복사 CREATE TABLE IF NOT EXISTS `복사 테이블` LIKE `원본 테이블`; 테이블 구조와 데이터 복사 CREATE TABLE IF NOT EXISTS `복사 테이블` SELECT * FROM `원본 테이블`; ※ 기본키(Primary Key)와 인덱스(Index), Auto Increment는 제외하고 복사합니다!!! 테이블 데이터 복사 INSERT INTO `복사 테이블` SELECT * FROM `원본 테이블`; 테이블 데이터 부분 복사 INSERT INTO `복사 테이블` (컬럼1 [, 컬럼2 ...]) SELECT 컬럼1 [, 컬럼2 ...] FROM `원본 테이블`; INSERT SELECT 할 때, 특정 컬럼만 지정 테이블 생성 쿼리 가져오기 SHOW CREA..

900gle crawler 에서 사용할 사이트 객체를 관리하려고 한다 우선 URL package com.bbongdoo.doo.component; import org.springframework.web.util.UriComponentsBuilder; public class Naver extends Site { private static final String URL = "https://search.shopping.naver.com"; @Override public String getUrl(String k, int i) { return UriComponentsBuilder.fromHttpUrl(URL) .queryParam("frm", "NVSHATC") .queryParam("origQuery", k) ..

젠킨스에 로그인 해보자 탭별로 배치스케쥴이 등록되어 있는걸 확인 할 수 있다. 스케쥴을 클릭해서 들어오면 아래와 같은 화면이 나오는데 build history, 하위프로젝트(빌드후 조치 - 트리거) 등등 빌드 파라미터를 확인해보자 java -jar -Dfile.encoding=UTF-8 -Dspring.profiles.active=${profile} -Dcrawler.common.max-thread-count=2 ${jar_path}/${project}.jar -i ${icommand} -t ${tcommand} -m ${mcommand}

키바나에서 쓰던 쿼리를 바로 조회 해보자 high level client 를 사용를 사용하고 있는 api 에서 쿼리를 추출해보면 아래과 같은 형태가 나오는데 .. 이걸 데이터를 뽑아서 증거품을 만들어야 하는 상황.. 근데 python 소스에 string 으로 발라서 넣으려고 하니까 true 라든지.. 숫자라든지.. 암튼 걸리는 것들이 있어 json 파일로 만들어서 불러오는 방법 사용 json 파일 셈플 { "from": 0, "size": 20, "timeout": "60s", "query": { "bool": { "filter": [{ "range": { "saleStartDt": { "from": null, "to": "now/m", "include_lower": true, "include_upper..