개발잡부

2022-08-17 22:00:14.518359: I tensorflow/core/platform/cpu_feature_guard.cc:193] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations: AVX2 FMA

conda 환경을 새로 만들고 싶지만 시간이 아까워서 900gle 의 환경을 사용. conda activate 900gle python -m pip install --upgrade pip Study.py import numpy as np import tensorflow_datasets as tfds import tensorflow as tf tfds.disable_progress_bar() "This version of TensorFlow Datasets requires TensorFlow " ImportError: This version of TensorFlow Datasets requires TensorFlow version >= 2.1.0; Detected an installation of vers..

random 파이썬에서 난수(random number)를 사용하기 위해서는 기본적으로 제공되는 random 모듈을 사용 randint(최소, 최대) : 입력 파라미터인 최소부터 최대까지 중 임의의 정수를 리턴 random() : 0 부터 1 사이의 부동소수점(float) 숫자를 리턴 uniform(최소, 최대) : 입력 파라미터인 최소부터 최대까지 중 임의의 부동소수점(float) 숫자를 리턴 randrange(시작,끝[,간격]) : 입력 파라미터인 시작부터 끝값까지 (지정된 간격으로 나열된) 숫자 중 임의의 정수를 리턴 from random import * i = randint(1, 100) # 1부터 100 사이의 임의의 정수 print(i) f = random() # 0부터 1 사이의 임의의 flo..

데이터 셋으로 활용할 test 데이터를 만들어 보자 원천데이터는 900gle shopping 의 데이터를 활용. create_dataset.py # -*- coding: utf-8 -*- import json from elasticsearch import Elasticsearch def create(): script_query = { "match_all": {} } response = client.search( index=INDEX_NAME, body={ "size": SEARCH_SIZE, "query": script_query, "_source": ["name"] } ) es_data = [] for hit in response["hits"]["hits"]: row = dict(name=str(hi..

When you already have an older version of NumPy, use this: pip install numpy --upgrade If it still doesn't work, try: pip install numpy --upgrade --ignore-installed

conda 환경확인 conda info --envs doo 실행 conda activate doo 설치된 package 를 확인해보잣 pip list Package Version ---------------------------- ------------------- absl-py 1.0.0 aniso8601 9.0.1 api 0.0.7 astunparse 1.6.3 attrs 21.4.0 cached-property 1.5.2 cachetools 5.0.0 certifi 2021.10.8 cffi 1.15.0 charset-normalizer 2.0.12 click 8.1.2 cryptography 37.0.2 cycler 0.11.0 elastic-transport 8.1.1 elasticsearch ..

LOAD DATA LOCAL INFILE 로 넣으려고 했으나 1. local_infile 옵션을 수정할 수 가 없다 . 2. vdesk 를 통해서 파일을 옮기니 한글이 깨진다. 그래서 sql 문을 만들어서 컨트롤 씨부이를 해야겠다 . 재활용 파일 # -*- coding: utf-8 -*- import time import json from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk import tensorflow_hub as hub import tensorflow_text import kss, numpy ##### INDEXING ##### def csv_data(): f_v = open("stopword_prd.s..

금칙어 리스트를 받았다.. 전수 검사를 요구하네.. 음.. 로컬에서는 운영계 검색 api. 호출이 불가능 한 상황 프론트에서 검색을 호출하는 api url 을 추출한 후 금칙어 리스트를 순회 하면서 검색결과를 파일에 기록함 # -*- coding: utf-8 -*- import time import json from elasticsearch import Elasticsearch from elasticsearch.helpers import bulk import tensorflow_hub as hub import tensorflow_text import kss, numpy import requests import ssl import urllib3 from time import sleep print(ssl.O..

requests 를 사용해서 데이터좀 가저오려는데 SSL 어쩌고 하면서 안될때.. import requests import ssl print(ssl.OPENSSL_VERSION) response = requests.get(url, verify=False)

에러는 아니고 경고 인데.. 지저분해보여서 import urllib3 urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning) /Users/doo/opt/anaconda3/envs/doo/lib/python3.7/site-packages/urllib3/connectionpool.py:1050: InsecureRequestWarning: Unverified HTTPS request is being made to host 'front.homeplus.co.kr'. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/1.26.x/adv..