distributed-filesystem

コンピュータ間ミラーディスク
distributed-filesystem

コンピュータ間ミラーディスク

LVMを使用して2台のコンピュータ間で論理ディスクをミラー化したいと思います。つまり、2台の異なるコンピュータにファイルシステムの完全なコピーを持たせたいのです。私は可能な限り重要なアドオンなしでLinuxでこれを行いたいと思います。 理想的には、すべてのコンピュータからローカルにアクセスし、NFSで別のコンピュータに公開できることを願っています。 1つの解決策は、iSCSIまたはネットワークブロックデバイス(NBD)などを含むシステムに「ディスク」を公開し、RAIDミラーを使用してファイルシステムを使用してから、NFSを使用してすべての人と共有することです...

Admin

Opensolarisは分散ZFSファイルシステムを提供していますか?
distributed-filesystem

Opensolarisは分散ZFSファイルシステムを提供していますか?

私は幸運ではなかった確認済みこの質問の「はい」または「いいえ」です。 ZFSを分散ファイルシステム(GlusterやCEPHなど)として実行したいです。 Linux の OpenZFS と ZFS にはファイルシステムのクラスタリングはまだありません。 私が理解しているように、分散は現在独自の(有料)SolarisのZFSの機能です。Opensolarisでも使えますか? クラスターは、それぞれ独自の JBOD を使用する 2 つの独立したサーバーで使用されます。したがって、クロスネットワーク(10Gb ETH)ソリューションが必要です。 ...

Admin

fstabにエントリを追加するとパニックモードが発生する
distributed-filesystem

fstabにエントリを追加するとパニックモードが発生する

これが私のローカルシステム構成です。 NAME="elementary OS" VERSION="5.0 Juno" このコマンドは、リモートサーバー上のファイルシステムをサブディレクトリにマウントしましたが、正常に機能しました。 sudo sshfs -o allow_other [email protected]: /mnt/Production_server 端末は最初にローカルsudoパスワードの入力を求め、次にリモートパスワードの入力を求めます。 (ローカルed25519公開鍵をリモートed25519公開鍵にコピーしましたが、...

Admin

Debian Stretchでgfs2ファイルシステムをマウントできません。 dlm設定エラーですか?
distributed-filesystem

Debian Stretchでgfs2ファイルシステムをマウントできません。 dlm設定エラーですか?

Debian Stretchでgfs2を使用しようとしていますが、いくつかの問題が発生しています。私はかなり経験豊富なLinux管理者ですが、共有ディスクと並列ファイルシステムは初めて使用します。 現在のプロジェクトは、gfs2形式のiscsiエクスポートデバイスを複数のクライアントに共有ファイルシステムとしてインストールすることです。今はHAやフェンシングに興味はありませんが、将来的には重要になる可能性があります。 iscsi部分は大丈夫です。ターゲットにログインしてxfsファイルシステムでフォーマットし、複数のクライアントにマウントし、同じblkid...

Admin

OpenAFSで私のホームディレクトリを維持することを検討するのはクレイジーですか?
distributed-filesystem

OpenAFSで私のホームディレクトリを維持することを検討するのはクレイジーですか?

私は職業上のシステム管理者であり、自宅で楽しく働いています。私は、Gentoo Linuxノートブック、Raspianを実行しているRaspberry Pi、Gentooサーバー、Debianを実行しているARMデバイス、さまざまなAndroidデバイスを持っています。私はいつも垣間見ることから合理的に安全に保ちながら、他のデバイス間で自分のホームディレクトリをバックアップして同期することを心配して心配しています。 私は1980年代にカーネギーメロン大学でアンドリューに会いましたが、それは魔法のようでした。切断されたアクセスを処理するメカニズムがあり、継続...

Admin

pnfs用MDS(メタデータサーバー)クラスタ
distributed-filesystem

pnfs用MDS(メタデータサーバー)クラスタ

長い話を短く pNFSは、集中型共有ストレージへの複数の同時アクセスを提供する良い方法のように見えますが、問題があります。 NFSメタデータ(メタデータサーバー、MDS)を提供する単一のNFSサーバーは、単一障害点です。 MDSにアクセスできなくなると、すぐに共有ストレージにもアクセスできなくなります。 この問題を回避するためにMDSクラスタを設定したいと思います。どうやってこれを達成できますか?集中型ストレージのクライアント直接入出力を拒否しないでください。? HA-NFSにはいくつかのソリューションがありますが、すべて直接I / O pNFS機能を...

Admin

LinuxのZFS読み取り専用マウント+ Solarisの同期読み取り - 書き込みマウント
distributed-filesystem

LinuxのZFS読み取り専用マウント+ Solarisの同期読み取り - 書き込みマウント

私たちは定期的に(ネットワークを使用して)SolarisからLinuxにかなり大きなファイルをコピーする必要があります。現在のファイルの1つにほぼ半日かかります。 SolarisのファイルはZFSファイルシステムにあります。 だから私はこれが悪すぎると思いました。おそらくLinuxにZFSをインストールできます。 ただし、ZFSはクラスタ化(またはクラスタ化可能)ファイルシステムではありません。 仮説:それなら、私たちはSolarisからコピーしているので可能だと思います。同じZFSファイルシステムを読み取り専用でマウントできるため、この場合はクラスタ...

Admin

ディレクトリを移動する方法は?
distributed-filesystem

ディレクトリを移動する方法は?

Sparkによって生成されたいくつかのxxxxxファイルのサブディレクトリを含むHDFSディレクトリがあります。このディレクトリ(およびその中のすべての項目)を新しいディレクトリに移動したいと思います。どのように? 私の試み: [gsamaras@gwta3000 ~]$ hadoop fs -mv  /projects/landmarks/ /projects/landmarks/all/ mv: ` /projects/landmarks/': No such file or directory [gsamaras@gwta3000 ~]$ ha...

Admin

start-dfs.sh 確認
distributed-filesystem

start-dfs.sh 確認

マスターが私のラップトップで、スレーブがvirtualboxであるHadoopクラスターをセットアップしようとしています。ガイド。だから私はそうだった。所有者: gsamaras@gsamaras:/home/hadoopuser/hadoop/sbin$ sudo ./start-dfs.sh Starting namenodes on [master] root@master's password: master: namenode running as process 2911. Stop it first. root@master's passw...

Admin

並列、分散、既存のファイルシステム
distributed-filesystem

並列、分散、既存のファイルシステム

私は非常に基本的なレベルでこれら3つのファイルシステムの違いを理解しようとしています。 分散ファイルシステム:HDFS パラレルFS:光沢 既存のファイルシステム:ext4/ext3/NTFS/FATなど これら3つのファイルシステム間の基本的な概念的な違いが何であるかを知りたいです。私の知識のほとんどは、伝統的なファイルシステム、つまりext3/4にあります。スーパーブロック、インデックスノードなど。 MPIベースのプロセス(np = 8)がファイルシステムからファイルを読み取るかファイルAに書き込もうとした場合、これらのコンテキストで...

Admin

clvm(cman)にdlmの問題があります
distributed-filesystem

clvm(cman)にdlmの問題があります

clvmを使用して両方のサーバーからアクセスできるボリュームグループを作成しようとしています。私はそれについて読んで、cmanを使ってこれを行うのが最も簡単なようです。ただし、数時間テストした後でもジョブ設定を達成することはできません。 clvmdを起動できず、理由が見つからなかったので苦労しています。ローカルソケットに接続できないという理由は何ですか?ソケットとはどういう意味ですか?数秒後にdlmに問題が発生します(下記参照)。 # clvmd -fd2 -I cman local socket: connect failed: No such file...

Admin