개발잡부

https://www.anaconda.com/products/individual Anaconda | Individual Edition Anaconda's open-source Individual Edition is the easiest way to perform Python/R data science and machine learning on a single machine. www.anaconda.com

https://github.com/900gle/text-embeddings : 문장 임베딩 모델을 dense_vector 필드 유형과 결합하여 유사성 검색에 Elasticsearch 를 사용하는 방법에 대한 간단한 예 개발환경 : mac OS python3.7.9 tensorflow1.14 버전확인 pip3 -V 의존성 주입 pip3 install -r requirements.txt requirements.txt 에 보면 es 7.0.2 버전을 요구 하는데 이미 만들어 놓은 es 환경이 있으니 컨테이너를 실행 해 보자 실행 python3 src/main.py posts 인덱스 더보기 더보기 더보기 더보기 { "version":5, "mapping_version":1, "settings_version":1..

macOS Open the Terminal.app or iTerm2 terminal application, and then remove your entire Anaconda directory, which has a name such as anaconda2, anaconda3, or ~/opt. Enter rm -rf ~/anaconda3 to remove the directory.

match 쿼리 다중 필드 GET /_search { "query": { "multi_match" : { "query": "this is a test", "fields": [ "subject^3", "*_message" ] } } } ^3 : subject 필드 3배 부스팅 *_message : _message 를 포함하는 필드 검색 multi_match 쿼리유형 type 매개변수 best_fields ( 기본값 ) 모든 필드와 일치하지만 _score최상의 필드를 사용하는 문서를 찾습니다 . 를 참조하십시오 best_fields. most_fields 모든 필드와 일치하는 문서를 찾아 _score각 필드에서 결합합니다 . 를 참조하십시오 most_fields. cross_fields 필드를 analyze..

데이터 입력 후 확인 POST _bulk {"index":{"_index":"doo", "_id":"1"}} {"name":"나이키", "weight" : 1, "boost" : 1, "description" : "나이키 상품"} {"index":{"_index":"doo", "_id":"2"}} {"name":"나이키 에이맥스","weight" : 1, "boost" : 1,"description" : "나이키 운동화"} {"index":{"_index":"doo", "_id":"3"}} {"name":"나이키 에어조던","weight" : 1, "boost" : 1,"description" : "나이키 운동화 농구화"} {"index":{"_index":"doo", "_id":"4"}} {"name"..

인덱스 생성 PUT test_doo { "settings": { "analysis": { "analyzer": { "nori_analyzer": { "tokenizer": "nori_tokenizer" }, "jamo_analyzer": { "type": "custom", "tokenizer": "whitespace", "filter": [ "lowercase", "stop", "snowball", "doo-jamo" ] }, "chosung_analyzer": { "type": "custom", "tokenizer": "whitespace", "filter": [ "lowercase", "stop", "snowball", "doo-chosung" ] } } } }, "mappings": { "prope..

자모 필터와 초성 필터를 적용해보자. 커스텀 애널라이저 생성하면서 토큰필터에 추가해 보았다. PUT my_index3 { "settings": { "index": { "analysis": { "analyzer": { "my_custom_analyzer": { "type": "custom", "tokenizer": "whitespace", "filter": [ "lowercase", "stop", "snowball", "doo_jamo", "doo_chosung" ] } } } } } } 애널라이저를 테스트 해보았는데.. GET my_index3/_analyze { "analyzer": "my_custom_analyzer", "text": [ "한글 자모 분석 필터" ] } 결과 음.. 그렇군.. 근데 이..

애널라이저 테스트 GET _analyze { "text": "The quick brown fox jumps over the lazy dog", "tokenizer": "whitespace", "filter": [ "lowercase", "stop", "snowball" ] } 결과가 이렇게 나오는디.. 음.. whitespace 를 거치면서 공백으로 나누어 진 토큰 들을 lowercase 에서 소문자로 변경, 그 후에 stop (불용어) 필터 에서 the 가 제거, snowball 필터에서 jumps 가 jump 로 변경 등록된 Analyzer 를 통해 테스트 GET _analyze { "text": "The quick brown fox jumps over the lazy dog", "analyzer":..

실행 create 에서 Transformation 선택 탭이 생성된긴 하는데 난 .. 날려먹어서 Input 에 많은 것들이 있지만 Data grid 를 드래그해서 가져온다 가저온 후 클릭 데이터를 입력하고 성적표를 만들었다. 좌측메뉴 플로우에서 Filter rows 를 드래그해서 가져온다 성적표 클릭 shift 드래그 필터에 홉이라고 해야하나 hop 연결 필터를 더블클릭 수학 커트라인으로 이름을 변경한후 "수학점수가 60점 이상" 조건 추가 실행시켜보자 얼레.. 다들 수학을 잘하는 구먼.. Filter rows 를 추가하고 아래의 조건을 입력 수학, 영어 90점 이상 실행시켜보자 True 는 False

Pentaho 란? Pentaho란 빅데이터 분석 및 활용을 위해 데이터 분석, 정제, 이관, 분산 데이터베이스 설계, 구축, 관리 및 보고서 작성등의 기능을 가진 Tool 오픈소스와 엔터프라이즈 버전이 있고 일단 설치해보자 오픈소스 Pentaho PDI 시스템환경 : MacOS 다운로드 https://www.hitachivantara.com/en-us/products/data-management-analytics/pentaho/download-pentaho.html 30일 트라이얼 확인되지 않은 녀석이니 아래 방법으로 설치 하나를 설치했더니 .. 이것들이.. 5개나 생김..