hadoop 준비

맵리듀스

 

 

세이프모드

# 세이프 모드 상태 확인 
$ hdfs dfsadmin -safemode get
Safe mode is OFF

# 세이프 모드 진입 
$ hdfs dfsadmin -safemode enter
Safe mode is ON

# 세이프 모드 해제 
$ hdfs dfsadmin -safemode leave
Safe mode is OFF

데이터블록

The filesystem under path '/user/hadoop' is CORRUPT

# 커럽트 상태의 파일 삭제 
$ hdfs fsck -delete

# /user/hadoop/ 의 복제 개수를 5로 조정 
$ hadoop fs -setrep 5 /user/hadoop/
# /user/hadoop/ 하위의 모든 파일의 복제 개수를 조정 
$ hadoop fs -setrep 5 -R /user/hadoop/

휴지통

# 휴지통을 비움. 
$ hadoop fs -expunge

# 휴지통을 이용하지 않고 삭제 
$ hadoop fs -rm -skipTrash /user/data/file

암호화

# 암호화 키 생성 
$ hadoop key create mykey

# zone 디렉토리 생성 하고 암호화 지역으로 설정, mykey를 이용하도록 설정 
$ hadoop fs -mkdir /zone
$ hdfs crypto -createZone -keyName mykey -path /zone

# 키확인 
$ hadoop key list
Listing keys for KeyProvider: org.apache.hadoop.crypto.key.kms.LoadBalancingKMSClientProvider
mykey

# 암호화 지역 확인
$ hdfs crypto -listZones
/zone sample_key

# As the normal user, put a file in, read it out
$ hadoop fs -put helloWorld /zone
$ hadoop fs -cat /zone/helloWorld

# As the normal user, get encryption information from the file
$ hdfs crypto -getFileEncryptionInfo -path /zone/helloWorld
console output: {cipherSuite: {name: AES/CTR/NoPadding, algorithmBlockSize: 16}, cryptoProtocolVersion: CryptoProtocolVersion{description='Encryption zones', version=1, unknownValue=null}, edek: 2010d301afbd43b58f10737ce4e93b39, iv: ade2293db2bab1a2e337f91361304cb3, keyName: mykey, ezKeyVersionName: mykey@0}

제한

# 파일 개수 제한. 최대 Long.MAX_VALUE 만큼 제한 가능 
hdfs dfsadmin -setQuota <N> <directory>...<directory>

# 파일 개수 제한 초기화
hdfs dfsadmin -clrQuota <directory>...<directory>

# 파일 용량 제한. 최대 Long.MAX_VALUE 만큼 제한 가능 
hdfs dfsadmin -setSpaceQuota <N> <directory>...<directory>

# 파일 용량 제한 초기화 
hdfs dfsadmin -clrSpaceQuota <directory>...<directory>

이레이저

CLI 명령어
   hdfs ec [generic options]
     [-setPolicy -path <path> [-policy <policyName>] [-replicate]]
     [-getPolicy -path <path>]
     [-unsetPolicy -path <path>]
     [-listPolicies]
     [-addPolicies -policyFile <file>]
     [-listCodecs]
     [-enablePolicy -policy <policyName>]
     [-disablePolicy -policy <policyName>]
     [-removePolicy -policy <policyName>]
     [-verifyClusterSetup -policy <policyName>...<policyName>]
     [-help [cmd ...]]
setPolicy
정책을 설정합니다.
getPolicy
이레이져 코딩 적책을 확인합니다.
unsetPolicy
정책 설정을 해제합니다.
listPolicies
HDFS 경로에 등록 된 모든 (활성화, 비활성화 및 제거 된) 이레이져 코딩 정책을 출력합니다.
addPolicies
이레이저 코딩 정책을 추가합니다.
removePolicy
이레이저 코딩 정책을 제거합니다.
listCodecs
이레이저 코딩 코덱 목록을 출력합니다.
enablePolicy
이레이저 코딩 정책을 활성화합니다.
disablePolicy
이레이저 코딩 정책을 비활성화합니다.
verifyClusterSetup
클러스터 설정이 활성화 된 모든 이레이져 코딩 정책을 지원할 수 있는지 확인합니다

밸런서

#대역폭
hdfs dfsadmin -setBalancerBandwidth 1073741824

#threshold
hdfs balancer -threshold 3