개발잡부

900gle crawler 를 통해 수집된 데이터를 DB에 저장 후 json 파일로 저장 json 파일을 읽어 색인 생성 https://ldh-6019.tistory.com/477 [python] DB data to json file https://ldh-6019.tistory.com/476 [python] mysql 연동 - PyMySQL Python의 MySql모듈 설치 Python의 MySql모듈 PyMySQL mysql-connector-python ( >= MySQL 8.0) or mysql.connector (< MySQL 8.0) PyMySQL를 이용하여 접근하는 방법 $ pip install Py ldh-6019.tistory.com # -*- coding: utf-8 -*- import ..

kibana dev tool 에서 메뉴가 disable 되어 있거나 해드로 접속했는데 접속이 안된다 근데 http://localhost:9200/ 는 접속이 된다 이러경우 트라이얼 라이센스가 만료되어 생기는 이슈.. 돈주고 살꺼 아니면 라이센르를 삭제 하자 접속이 된다!!

버전을 올려보자 8.6.2 docker pull docker.elastic.co/elasticsearch/elasticsearch:8.6.2 내 로컬 경로 /Users/doo/docker/es8.6.2 docker compose up -d --build 키바나가 안뜨길래 로그를 봤더니 - docker logs {container_id} [2023-03-04T15:45:34.975+00:00][WARN ][plugins.reporting.config] Found 'server.host: "0.0.0.0"' in Kibana configuration. Reporting is not able to use this as the Kibana server hostname. To enable PNG/PDF Repor..

잘못된 형식의 필드는 인덱싱되지 않지만 문서의 다른 필드는 정상적으로 처리됩니다. 8버전 문서인데 7에 있는지는 확인해봐야겠음.. https://www.elastic.co/guide/en/elasticsearch/reference/current/ignore-malformed.html?fbclid=IwAR20CPgmFEJ19ajl4pFMseBneOHgIX_kZl8AgBPH0hA5lm-n3gppRafmoZ0#ignore-malformed ignore_malformed | Elasticsearch Guide [8.6] | Elastic Sometimes you don’t have much control over the data that you receive. One user may send a login fi..

참조 https://github.com/deviantony/docker-elk GitHub - deviantony/docker-elk: The Elastic stack (ELK) powered by Docker and Compose. The Elastic stack (ELK) powered by Docker and Compose. - GitHub - deviantony/docker-elk: The Elastic stack (ELK) powered by Docker and Compose. github.com

샤드의 갯수가 인덱싱 속도에 어떻게 영향을 테스트 해보겠다 후보군 샤드 1~ 9 까지 생성 색인시간 체크 셈플데이이터 20개 동일한 조건으로 색인 20개는 애매해서 1000개로 테스트 1회 2회 3회 4회 5회 shard 20개 X 1000docs 1회 2회 3회 4회 5회 음.. 애매하다..

https://www.elastic.co/kr/subscriptions 구독 | Elastic Stack 제품 및 지원 | Elastic 구독 수준, 요금제, Elastic Stack(Elasticsearch Kibana, Beats, Logstash)의 온-프레미스 배포에 대한 계층화된 기능, Elastic Cloud, Elastic Cloud Enterprise에 대해 알아보세요. www.elastic.co basic license 사용하고 있었는데 license 때문에 테스트를 재대로 못해보네.. 일단 해결책은 지워버리자 DELETE _license url 로 지우고 싶으면 아래와 같이 입력 (base) ➜ es8.8.1 git:(master) ✗ curl -XDELETE elastic:패스워드@l..

IP 와 location 정보를 색인하는데 .. 의미는 없지만 timestamp 를 찍어 보고 싶었다. _timestamp Elasticsearch 초기 _timestamp에는 인덱스에 매핑 필드를 사용할 수 있었습니다. 이 기능은 버전 2.0부터 더 이상 사용되지 않지만, 그렇다고 해서 더 이상 타임스탬프가 있는 문서를 인덱싱할 수 없다는 의미는 아닙니다. Elasticsearch 타임스탬프는 여전히 가능하지만 생성하는 데 필요한 프로세스에는 약간의 노하우가 필요합니다. 이 기사에서는 Elasticsearch 타임스탬프를 생성하는 데 도움이 되는 단계별 지침을 제공합니다. 자 이렇다고 한다. _timestamp 필드는 더 이상 사용되지 않습니다. 버전 2.0부터 더 이상 사용 되지 않으므로 이 매핑 필..

elastic stack 8.4.1 을 설치 후 kibana maps 가 있길래 한번 건들여봄 국가별 ip 와 위도 경도 정보가 있는 파일을 ES에 색인하고 maps 를 실행시켜서 확인해보았다. 색인 구조를 가지고 있는 index.json 파일 나중에 아이피도 테스트 해봐야 하니까 ip 정보는 ip type 타입으로 맵핑, location 정보는 geo_point 타입으로 맵핑 나머지는 주소정보니까 대충 keyword 타입으로 맵핑 { "settings": { "number_of_shards": 2, "number_of_replicas": 0 }, "mappings": { "dynamic": "true", "_source": { "enabled": "true" }, "properties": { "priv..

mapping PUT my-index-000001 { "mappings": { "properties": { "location": { "type": "geo_point" } } } } indexing PUT my-index-000001 { "mappings": { "properties": { "location": { "type": "geo_point" } } } } PUT my-index-000001/_doc/1 { "text": "Geopoint as an object using GeoJSON format", "location": { "type": "Point", "coordinates": [-71.34, 41.12] } } PUT my-index-000001/_doc/2 { "text": "Geopoi..