HDFS Balancer - Namespace 페더레이션 되어있을 때
platform/hadoop 2022. 4. 18. 18:30

신규로 데이터 노드를 추가하였을 경우, 혹은 디스크 교체로 인해 특정 노드의 데이터가 비게 될 경우 Hadoop에서는 이를 균형 잡히게 만들기 위해 Balancer 기능을 제공한다. 네임 스페이스가 페더레이션 되어있을 경우, balancer 수행 시 다중 네임 스페이스들에 모두 밸런싱 작업이 수행되도록 변경이 되었다. 따라서 특정 hdfs 네임스페이스만을 밸런싱 하고 싶을 경우에 해당 네임스페이스 만을 포함하는 core-site.xml, hdfs-site.xml 을 따로 빼고, 해당 config를 물고 들어갈 수 있게끔 실행해준다. hadoop hdfs에 권한이 있는 유저로 실행해주어야 한다. 특정 폴더에 core-site.xml 과 hdfs-site.xml을 복사하여 생성해주고, 위 주요 속성 값들을 ..