개발잡부

검색 과정 Elasticsearch 의 검색은 1 Query, 1 Shard, 1 Thread를 바탕으로 이루어짐3개의 노드를 가지고 있다.노드는 샤드를 1개씩 가지고 있다 각각의 노드는 4개의 코어를 가지고 있다4개의 쿼리가 인입된다. 이 경우 검색 쓰레드 풀에 4개의  검색 Thread를 가지고 있게 된다.  단일 쿼리의 유입인 경우 검색 Thread 풀에서 1개의 검색 Thread를 사용하게됨 나머지 3개는 노는 상황언뜻보면 3개가 놀고 있으니 리소스의 낭비같지만 이런경우 4개의 쿼리가 인입될때 Thread를 하나씩 사용하게되어  거의 동시에 종료된다  그럼 아래의 경우를 보자 3개의 노드를 가지고 있다.노드는 샤드를 4개씩 가지고 있다 각각의 노드는 4개의 코어를 가지고 있다4개의 쿼리가 인입된다..

RedisConnectionFactory 를 찾지 못해 에러가 발생했다면 아래와 같이 확인해보자 import org.springframework.context.annotation.Bean;import org.springframework.context.annotation.Configuration;import org.springframework.data.redis.connection.RedisConnectionFactory;import org.springframework.data.redis.connection.lettuce.LettuceConnectionFactory;import org.springframework.data.redis.core.RedisTemplate;import org.springframe..

전체복사  비주얼 모드 사용하기:Vim에서 ggVG를 입력합니다. 이는 파일의 처음부터 끝까지 선택하는 명령어입니다.그런 다음 y를 눌러서 선택한 내용을 복사합니다.명령 모드 사용하기:Vim에서 :%y+를 입력합니다. 이는 파일의 전체 내용을 복사하는 명령어입니다. 여기서 +는 시스템 클립보드로 복사한다는 의미입니다.방법 1: 비주얼 모드 사용하기gg를 입력하여 파일의 맨 위로 이동합니다.VG를 입력하여 파일의 맨 아래까지 선택합니다.y를 입력하여 선택한 내용을 복사합니다.방법 2: 명령 모드 사용하기:를 입력하여 명령 모드로 들어갑니다.:%y+를 입력하여 파일 전체를 시스템 클립보드에 복사합니다. 전체선택 방법 1: 비주얼 라인 모드 사용하기gg를 입력하여 파일의 맨 위로 이동합니다.VG를 입력하여 파..

코드상으로 연결하려는건 아니고  redis client 처럼 redis 에 저장된 데이터를 확인 하고자 함 redis 는 2020 버전에서는 기본으로 설치되어 있지 않아 2023 버전으로 업데이트 했는데 업데이트를 하다보니 IntelliJ 에 기본으로 설치되어 있는 java 버전이 높아서 gradle 빌드에서 에러가 발생함    그땐   build 에서 Gradle JVM 을 11로 바꿔 준다.  보아하니 여기가 11이긴한데 이사안 경로의 11 을 잡고 있어서 문제가 발생한듯 아무튼 이렇게 해서 정상화 시켜놓고  맨 우측으로 가면 Database 가 보인다.  +   Data Source 에서 Redis 선택   Connection Type 은 cluster - 왜냐면 내가 클러스터 환경으로접속하려고 하..

설치 후 가상환경 만들기 - 3.7은 없어짐conda create --name doo python='3.9' 가상환경 접속 후 세팅pip install 패키지명 하면 안됨 워닝 겁나 뜨면서 설치안됨 관련 이슈 강제패키지 설치가 있으나..언제 하나씩 다하나..conda install -c conda-forge numpy이렇게 하지 많고 인증서 체크를 우회해야함 pip install --trusted-host http://pypi.org --trusted-host http://pypi.python.org --trusted-host=files.pythonhosted.org 패키지명 pip install --trusted-host pypi.org --trusted-host pypi.python.org --tru..

개발환경MacOsdocker 설치docker-compose.yml# 파일 규격 버전version: "3.1"# 실행하려는 컨테이너들 정의services: # 서비스명 redis_container: # 사용할 이미지 image: redis:latest # 컨테이너명 container_name: redis # 접근 포트 설정(컨테이너 외부:컨테이너 내부) ports: - 6379:6379 # 스토리지 마운트(볼륨) 설정 volumes: - ./redis/data:/data - ./redis/conf/redis.conf:/usr/local/conf/redis.conf # 컨테이너에 docker label을 이용해서 메타데이터 추가 ..

1. Redis 도커 이미지 가져오기일단 Redis 도커 이미지가 필요합니다. docker pull 명령어로 redis 최신 버전을 가져옵니다.docker pull redis이미지를 잘 가져왔는지 확인하려면 docker images 명령어로 확인합니다.2. docker-compose.yml 작성다음과 같이 docker-compose.yml 파일을 작성합니다.# 파일 규격 버전version: "3.1"# 실행하려는 컨테이너들 정의services: # 서비스명 redis_container: # 사용할 이미지 image: redis:latest # 컨테이너명 container_name: redis_test # 접근 포트 설정(컨테이너 외부:컨테이너 내부) ports: ..

회원번호는 DB 상에 bigint 로 색이되어 있다. 2억번대 회원 번호는 비회원이라 색인할 필요가 없어서 제거해서 배포한 상황그러다 보니 약 300만건의 데이터 차이가 났는데 원인을 몰라서 고민하던중에 확인해봄 일단 조회쿼리 GET hyper-order-item_2024.05.07.13.37/_search{ "track_total_hits": true, "query": { "bool": { "filter": [ { "regexp": { "userNo": "[0-9]{9,}" } }, { "prefix": { "userNo": "2" } ..

우선 결론부터 #!/bin/bash # Conda 환경 이름을 설정합니다. CONDA_ENV_NAME="doo" # Conda를 실행하여 환경을 활성화합니다. source /Users/doo/opt/anaconda3/bin/activate $CONDA_ENV_NAME cd /Users/doo/doo_py/homeplus/data python easy-pickup.py conda deactivate 간단한 쉘 스크립트 crontab 에 등록하려고 했는데 라이브러리 중에 LaunchDeamons 에 등록해서 사용 LaunchDaemons 등록 이동 cd /Library/LaunchDaemons LaunchDaemons 에 파일 생성이지만 권한이 귀찮으니 cp -af 로 이미 있는 파일 복사 sudo vi c..

인덱스 복사 # -*- coding: utf-8 -*- import time import json import datetime as dt from datetime import datetime from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk import requests import ssl import urllib3 from time import sleep from urllib import parse from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor print(ssl.OPENSSL_VERSION) urllib3.disable_warnings..