개발잡부

파케이(Parquet)이란, 많은 양의 데이터를 처리하는데에 들어가는 시간과 비용을 절약하기 위해서 기존의 일반적인 행 기반(Row-based) 포맷이 아닌 열 기반(Column-based) 포맷의 처리를 말합니다. 파케이는 열 기반(Column-based) 포맷의 다른 종류인 ORC와 유사하지만, ORC는 Hive 최적화 / Parquet는 Apache 솔루션에 최적화 되어 있습니다. 테스트 해보자 CSV를 Parquet 파일로 저장 products.csv name 루이비통 pyarrow 를 설치해보자 pip install pyarrow csv 를 parquet 변환 생성 import pyarrow.parquet as pq from pyarrow import csv pq.write_table(csv.r..

brew install hadoop (base) ➜ ~ brew reinstall hadoop If you need to have tomcat@8 first in your PATH, run: echo 'export PATH="/usr/local/opt/tomcat@8/bin:$PATH"' >> ~/.zshrc To restart tomcat@8 after an upgrade: brew services restart tomcat@8 Or, if you don't want/need a background service you can just run: /usr/local/opt/tomcat@8/bin/catalina run 환경설정 /usr/local/Cellar/hadoop/3.3.3/libexec/etc/..

세이프 모드 HDFS의 세이프모드(safemode)는 데이터 노드를 수정할 수 없는 상태 입니다. $ hadoop fs -put ./sample.txt /user/sample.txt put: Cannot create file/user/sample2.txt._COPYING_. Name node is in safe mode. 세이프 모드 커맨드 세이프 모드 상태의 확인, 진입, 해제 커맨드는 다음과 같습니다. # 세이프 모드 상태 확인 $ hdfs dfsadmin -safemode get Safe mode is OFF # 세이프 모드 진입 $ hdfs dfsadmin -safemode enter Safe mode is ON # 세이프 모드 해제 $ hdfs dfsadmin -safemode leave Saf..

brew install hadoop 하.. 망할노무 회사 xcode 가.. 흠.. docker 이미지를 찾아봐야겟다 #브루 업글 한번하고 brew upgrade #다시도전 brew install hadoop

HDFS 커맨드 사용자 커맨드, 운영자 커맨드, 디버그 커맨드로 구분 사용자 커맨드 hdfs, hadoop 쉘을 이용할 수 있습니다. 일부 커맨드는 hdfs 쉘을 이용해야 함 # dfs 커맨드는 둘다 동일한 결과를 출력 $ hdfs dfs -ls $ hadoop fs -ls # fsck 커맨드도 동일한 결과 출력 $ hdfs fsck / $ hadoop fsck / # fs.defaultFS 설정값 확인 $ hdfs getconf -confKey fs.defaultFS hdfs://127.0.0.1:8020 # 명령어를 인식하지 못함 $ hadoop getconf Error: Could not find or load main class getconf 사용자 커맨드 목록 커맨드 기능 classpath Ha..