자연어 처리 (natural language processing)

 

가상환경  목록확인

conda info --envs 

 

가상환경 생성

conda create --name "nlp" python="3.7"

설치완료

 

설치

pip install -r require.txt

 

require.txt

elasticsearch
numpy
tensorflow
tensorflow-hub
tensorflow_text
kss
regex
flask
flask_restful
Api
Resource
matplotlib
pandas
keras
gensim
scikit-learn
nltk
konlpy

 

 

 

 

 

1. 실습 파일 불러오기

실습을 위해 아래의 링크에서 spam.csv란 파일을 다운로드 해보겠습니다. 해당 데이터셋은 스팸 메일 분류하기 챕터에서 재사용됩니다.

다운로드 링크 : https://www.kaggle.com/uciml/sms-spam-collection-dataset

SMS Spam Collection Dataset

 

 

pandas profile report 

import pandas as pd
import pandas_profiling
data = pd.read_csv('./data/spam.csv',encoding='latin1')

pr=data.profile_report() # 프로파일링 결과 리포트를 pr에 저장
pr.to_file('./pr_report.html') # pr_report.html 파일로 저장