データノードマシン（各データノードマシンにはサービスノードマネージャも含む）を含むHadoopクラスタがあり、487すべてのマシンは物理マシン（DELL）であり、オペレーティングシステムはRHELバージョン7.9です。 各データノードマシンには12個のディスクがあり、各ディスクサイズは12Tです。 HDPパッケージ（以前はHorton-works、現在はCloudera）にインストールされているHadoopクラスタの種類 ユーザーは、データノードシステムで実行されている遅いSparkアプリケーションについて文句を言います。 調査後、データノードログに次の警告...
NameNodeプロセスはJava Virtual Machine（JVM）で実行され、NameNodeで作成されたJavaオブジェクトはJava Virtual Memory（JVM）によって管理されます。ファイルまたはディレクトリが作成されると、ヒープメモリに inode オブジェクトとブロックオブジェクトが作成されます。 名前空間で管理されるJavaオブジェクトのサイズは150バイトに近い。当初はオブジェクトサイズが小さいので、かなりの量のオブジェクトをファイルシステムに保存することができました。 それでは、namnodeヒープのサイズを変更するとしま...
Hdfs 디렉터리(파일 포함)를 한 위치에서 다른 위치로 복사하고 있지만 대상 디렉터리는 1개뿐입니다. 첫 번째 반복에서는 처음에는 대상 디렉터리에 이전 파일이 없기 때문에 올바른 파일 크기 수와 파일 수를 제공합니다. 그러나 두 번째 반복에서는 누적 추가, 즉 첫 번째 반복의 개수를 포함하여 제공됩니다. 최신 파일 복사본을 기준으로 계산하거나 누적 합계/개수를 방지하는 방법 방금 사용할 때 누적 합계 및 개수를 피하는 방법 hdfs dfs -count "{destination}" 주문하다. ...
私たちは265のLinux RHELシステムで構成されたHadoopクラスタを持っています。 合計265台のマシンのうち、HDFSファイルシステムを備えた230台のデータノードマシンがあります。 各データノードの合計メモリは128Gであり、これらのシステムで多くのSparkアプリケーションを実行します。 先月に別のSparkアプリケーションを追加したため、プロセスはデータノードシステムでより多くのメモリを占有しました。 我々はそのキャッシュを発見した。メモリは非常に重要な部分であり、マシンでより多くのプロセスが実行されるときの正しい結論は、より多くのRAMメ...
RHEL 7.6サーバー（カーネルバージョン - 3.10.0-957.el7.x86_64）で次のプロセスの状態を確認できますD（ユーザーで実行されますHDFS）。 ノート -Dステータスコードは、プロセスが中断できない省電力状態にあることを示します。 ps -eo s,user,cmd | grep ^[RD] D hdfs du -sk /grid/sdj/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990 D hdfs du -sk /grid/sdm/had...
次のように、毎月のフォルダごとに並べ替えられた衛星データを含むデータセットのリストがあります。 01 02 03 04 05 06 07 08 09 10 11 12 これらのフォルダは、毎日のデータフォルダに分けられます。たとえば、最初の月の場合、01日次ファイルは次のようにフォルダーにソートされます。 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 ...
rhel 7.6 で次のスクリプトを作成します。 /home/run_tasks Visudoでは、私たちは構成しました。 %sudo ALL=(ALL:ALL) ALL root ALL=(ALL) ALL hdfs ALL = (ALL) ALL hdfs ALL= (root) NOPASSWD: /home/run_tasks そして ls -ltr /home/run_tasks -rwxrwxrwx 1 hdfs hdfs 6377 Sep 11 2019 /home/run_tasks だから私たちがスクリプ...
"start-dfs.sh" コマンドを使用して hadoop クラスターを起動しようとすると、次のエラーが発生します。 [マスター]でnamenodeを開始 master: ssh: connect to host master port 22: Connection refused データノードの起動 master: ssh: connect to host master port 22: Connection refused SSHの状態を確認した結果、次のように返されました。 ssh.service - OpenBSD Secure...
私はhadoopそれをインストールしましたssh。hadoopsbin/start-dfs.sh Starting namenodes on [localhost] localhost: ssh: connect to host localhost port 22: Connection refused Starting datanodes localhost: ssh: connect to host localhost port 22: Connection refused Starting secondary namenodes [chbpc-Vir...
私たちはHDPバージョン2.6.5を使用しており、HDFSブロックの複製は3です。 ブロックレプリケーション=3という事実に基づいて、本番モードでのデータノードディスクの最小要件を理解しようとしました。 本番クラスタについて話し、HDFSレプリカに再度アップグレードするので、= 3 データノードマシンあたりの最小ディスク数はどれくらいですか？ ...
次のようにhdfsユーザーにハイブ権限を付与できます。 su hdfs $ hdfs dfs -chown hive:2098 しかし、代わりに何をすべきですか？ ハイブとハイブグループの所有者を確認するには？ ...
HDFSに830000個のファイルを含むフォルダがあり、ここに最後の「8797」ファイル入力コードをHDFSの他のフォルダに移動したいと思います。 xargsを使ってみましたが、うまくいきませんでした。別のアイデアがありますか？ これは、すべてのファイル間の正確な分割点です。 「2021-03-09 15:15」以降のファイルを移動したいです。 -rw-rw-r--+ 3 talend_user talend_group 102013 2021-03-09 15:14 /user/file_1 -rw-rw-r--+ 3 talend_user ...