Unix 쉘 스크립트를 통한 누적 합계 방지 - hdfs 파일 복사

Unix 쉘 스크립트를 통한 누적 합계 방지 - hdfs 파일 복사

Hdfs 디렉터리(파일 포함)를 한 위치에서 다른 위치로 복사하고 있지만 대상 디렉터리는 1개뿐입니다. 첫 번째 반복에서는 처음에는 대상 디렉터리에 이전 파일이 없기 때문에 올바른 파일 크기 수와 파일 수를 제공합니다. 그러나 두 번째 반복에서는 누적 추가, 즉 첫 번째 반복의 개수를 포함하여 제공됩니다.

최신 파일 복사본을 기준으로 계산하거나 누적 합계/개수를 방지하는 방법

방금 사용할 때 누적 합계 및 개수를 피하는 방법

hdfs dfs -count "{destination}"

주문하다.

関連情報