개발잡부

회사에서 일을 하다보면 가끔 능지가 박살난 사람을 만나게 된다. 어드민에 관리할수 있는기능이 있는데도 손가락이 공주님이라 그마저도 하기 싫어서 자동으로 만들어 달라고 하는 .. 선량한 개발자들이 우리회사 같은곳을 잘 걸러야 할텐데.. 검색시에 속성필터정보를 따로 호출 하는데 이 속성필터를 검색결과에 없으면 제거해달라는 능지 박살난 소리를 처리해보자 쿼리에서 집계를 해야하고 그 집계로 속성필터에서 유효한 값만 리턴해줘야 하니.. 성능에 이슈가 있어보인다. 루프는 최소한으로 .. 처리해서 실행시간을 측정 검색 API 와 중계(mashup) API 를 같이 호출해보고 실행시간을 기록한다. 결과는 아래와 같이 # -*- coding: utf-8 -*- import time import json import re..

k-nearest neighor (kNN) search kNN ( k-nearest neighbor ) 검색은 유사성 메트릭으로 측정된 쿼리 벡터에 가장 가까운 k 개의 벡터를 찾습니다 . kNN의 일반적인 사용 사례는 다음과 같습니다. 자연어 처리(NLP) 알고리즘 기반 관련성 순위 제품 추천 및 추천 엔진 이미지 또는 비디오에 대한 유사성 검색 전제 조건 kNN 검색을 실행하려면 데이터를 의미 있는 벡터 값으로 변환할 수 있어야 합니다. Elasticsearch 외부에서 이러한 벡터를 생성하고 dense_vector 필드 값으로 문서에 추가합니다. 쿼리는 동일한 차원의 벡터로 표시됩니다. 유사성 메트릭을 기반으로 문서의 벡터가 쿼리 벡터에 가까울수록 더 잘 일치하도록 벡터를 디자인합니다. 이 가이드의..

900gle crawler 를 통해 수집된 데이터를 DB에 저장 후 json 파일로 저장 json 파일을 읽어 색인 생성 https://ldh-6019.tistory.com/477 [python] DB data to json file https://ldh-6019.tistory.com/476 [python] mysql 연동 - PyMySQL Python의 MySql모듈 설치 Python의 MySql모듈 PyMySQL mysql-connector-python ( >= MySQL 8.0) or mysql.connector (< MySQL 8.0) PyMySQL를 이용하여 접근하는 방법 $ pip install Py ldh-6019.tistory.com # -*- coding: utf-8 -*- import ..

https://ldh-6019.tistory.com/476 [python] mysql 연동 - PyMySQL Python의 MySql모듈 설치 Python의 MySql모듈 PyMySQL mysql-connector-python ( >= MySQL 8.0) or mysql.connector (< MySQL 8.0) PyMySQL를 이용하여 접근하는 방법 $ pip install PyMySQL 버전확인 pip3 -V conda activate text require.txt 파일 ldh-6019.tistory.com 아까 만들어 놓은 DB 연동을 활용해서 json file 만들어 보자 # -*- coding: utf-8 -*- import json import pymysql con = pymysql.conne..

Python의 MySql모듈 설치 Python의 MySql모듈 PyMySQL mysql-connector-python ( >= MySQL 8.0) or mysql.connector (< MySQL 8.0) PyMySQL를 이용하여 접근하는 방법 $ pip install PyMySQL 버전확인 pip3 -V conda activate text require.txt 파일에 PyMySQL추가 의존성 주입 pip3 install -r require.txt RuntimeError: 'cryptography' package is required for sha256_password or caching_sha2_password auth methods pip install cryptography Python에서 MySQ..

kibana dev tool 에서 메뉴가 disable 되어 있거나 해드로 접속했는데 접속이 안된다 근데 http://localhost:9200/ 는 접속이 된다 이러경우 트라이얼 라이센스가 만료되어 생기는 이슈.. 돈주고 살꺼 아니면 라이센르를 삭제 하자 접속이 된다!!

org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Cannot detect ES version - typically this happens if the network/Elasticsearch cluster is not accessible or when targeting a WAN/Cloud instance without the proper setting 'es.nodes.wan.only' es.nodes.wan.only = true 위의 옵션 해도 안되는 ... 다음 구성 속성도 추가해야 했습니다. es.net.ssl = true

간만에 ES 테스트 N-gram tokenizer 우선 프로젝트로 이동 es8.6환경 만들어 놓은게 있으니 활용 cd /Users/doo/docker/es8.6.2 docker compose up -d --build 아 역시나 이럴줄 .. 900gle es 로 변경 - es 7.15.1 cd /Users/doo/project/900gle/docker/elastic-stack docker compose up -d --build ngram 토크나이저로 home 을 분해해 보면 아래와 같이 분해가 된다 { "tokens" : [ { "token" : "h", "start_offset" : 0, "end_offset" : 1, "type" : "word", "position" : 0 }, { "token" : ..

테이블 구조 복사 CREATE TABLE IF NOT EXISTS `복사 테이블` LIKE `원본 테이블`; 테이블 구조와 데이터 복사 CREATE TABLE IF NOT EXISTS `복사 테이블` SELECT * FROM `원본 테이블`; ※ 기본키(Primary Key)와 인덱스(Index), Auto Increment는 제외하고 복사합니다!!! 테이블 데이터 복사 INSERT INTO `복사 테이블` SELECT * FROM `원본 테이블`; 테이블 데이터 부분 복사 INSERT INTO `복사 테이블` (컬럼1 [, 컬럼2 ...]) SELECT 컬럼1 [, 컬럼2 ...] FROM `원본 테이블`; INSERT SELECT 할 때, 특정 컬럼만 지정 테이블 생성 쿼리 가져오기 SHOW CREA..

900gle crawler 에서 사용할 사이트 객체를 관리하려고 한다 우선 URL package com.bbongdoo.doo.component; import org.springframework.web.util.UriComponentsBuilder; public class Naver extends Site { private static final String URL = "https://search.shopping.naver.com"; @Override public String getUrl(String k, int i) { return UriComponentsBuilder.fromHttpUrl(URL) .queryParam("frm", "NVSHATC") .queryParam("origQuery", k) ..