개발잡부

https://sparkbyexamples.com/spark/install-apache-spark-on-mac/ Install Apache Spark Latest Version on Mac - Spark by {Examples} Five easy steps to install the latest version of Apache Spark on Mac (macOS) – In recent days Apache Spark installation on Mac OS has become very easy using Homebrew. You can install it and start running examples in just 5 mins. There are multiple ways t sparkbyexamples..

import numpy as np import matplotlib.pyplot as plt import random param1 = random.randint(1,5) #기울기 param2 = random.randint(20,40) #편향 data = [[3,24], [6,48], [9,40], [12, 52]] x = np.array([i[0] for i in data]) y = np.array([i[1] for i in data]) plt.plot(x,y,"b.") def model(x): y = param1 * x + param2 return y def rmse(predict, true): return np.sqrt(((predict - true) ** 2).mean()) predict = [] f..

LOAD DATA LOCAL INFILE 로 넣으려고 했으나 1. local_infile 옵션을 수정할 수 가 없다 . 2. vdesk 를 통해서 파일을 옮기니 한글이 깨진다. 그래서 sql 문을 만들어서 컨트롤 씨부이를 해야겠다 . 재활용 파일 # -*- coding: utf-8 -*- import time import json from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk import tensorflow_hub as hub import tensorflow_text import kss, numpy ##### INDEXING ##### def csv_data(): f_v = open("stopword_prd.s..

금칙어 리스트를 받았다.. 전수 검사를 요구하네.. 음.. 로컬에서는 운영계 검색 api. 호출이 불가능 한 상황 프론트에서 검색을 호출하는 api url 을 추출한 후 금칙어 리스트를 순회 하면서 검색결과를 파일에 기록함 # -*- coding: utf-8 -*- import time import json from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk import tensorflow_hub as hub import tensorflow_text import kss, numpy import requests import ssl import urllib3 from time import sleep print(ssl.O..

requests 를 사용해서 데이터좀 가저오려는데 SSL 어쩌고 하면서 안될때.. import requests import ssl print(ssl.OPENSSL_VERSION) response = requests.get(url, verify=False)

에러는 아니고 경고 인데.. 지저분해보여서 import urllib3 urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning) /Users/doo/opt/anaconda3/envs/doo/lib/python3.7/site-packages/urllib3/connectionpool.py:1050: InsecureRequestWarning: Unverified HTTPS request is being made to host 'front.homeplus.co.kr'. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/1.26.x/adv..

이것저것 근들여 놓은게 많아서 뭘 쓸지 몰겠지만 900gle 에서는 이걸 사용하는 것으로.. payload score plugin 을 만들어 보자 https://www.elastic.co/guide/en/elasticsearch/reference/7.15/analysis-delimited-payload-tokenfilter.html#analysis-delimited-payload-tokenfilter java 11 elasticsearch7.15.1 gradle Plugin local path /Users/doo/plugin/payload-dscore project 생성 후 빌드 ./gradlew clean build 생성된 zip 파일을 900gle shopping 프로젝트가 모여있는 디렉토리로 이동시..

docker 이미지를 삭제하려고 하는데 아래와 같은 에러가 난다면.. Error response from daemon: conflict: unable to delete df2448c78780 (must be forced) - image is referenced in multiple repositories Error response from daemon: conflict: unable to delete df2448c78780 (must be forced) - image is referenced in multiple repositories -f 옵션을 추가해 준다 #이미지 확인 $> docker images 이미지를 삭제 해버리자 $> docker rmi 132e68488f03 df2448c78780 df2..

//스트림 생성 //컬렉션 List list = Arrays.asList("a", "b", "c"); Stream stream = list.stream(); //배열 String[] array = new String[]{"a","b","c"}; Stream stream1 = Arrays.stream(array); Stream stream2 = Arrays.stream(array, 1, 3); //정적메소드 Arrays.stream() 에 인자를 입력 //인덱스 1 포함, 3제외 //빌더 Stream stream3 = Stream.builder().add("a").add("b").build(); //Generator Stream stream4 = Stream.generate(()->"a").limit(3)..

https://github.com/golbin/TensorFlow-Tutorials GitHub - golbin/TensorFlow-Tutorials: 텐서플로우를 기초부터 응용까지 단계별로 연습할 수 있는 소스 코 텐서플로우를 기초부터 응용까지 단계별로 연습할 수 있는 소스 코드를 제공합니다. Contribute to golbin/TensorFlow-Tutorials development by creating an account on GitHub. github.com