私が働いている場所では、分析用のデータがたくさん生成されるため、データを保存するために常に新しいNASを購入する必要があります。これにより、コンピューティングサーバーに多数のNASがインストールされており、どのデータセットがどのNASにあるかを追跡する必要があります。各NASは同様のディレクトリ構造を持っています。たとえば、datasetANASにある場合はサーバーにfooあり、NASにある場合はサーバーにあります。ローカルファイルシステムにフォルダを作成し、すべてのデータセットを移動するつもりです。このフォルダにNASシンボリックリンクをマウントしました。例:/mnt/foo/data/datasetAdatasetBbar/mnt/bar/data/datasetBdata
mkdir /data
ln -s /mnt/foo/data/* /data
ln -s /mnt/bar/data/* /data
これにより、/dataデータが実際にどのNASに保存されているかを気にせず、データセットにのみアクセスできます。新しいデータセットがNASに表示されるたびに手動でシンボリックリンクする必要があることを除いて、これはうまくいくと思います/data。新しいディレクトリが自動的に表示されるように、これらのシンボリックリンクを設定する方法はありますか？ 1つのオプションは、定期的にリンクコマンドを再実行するようにcronジョブを設定することですが、より良い解決策があるかもしれません。
答え1
特に読み取り専用の場合、overlayfsの設定によって問題が発生する可能性があります。
しかし、
データを保存するには、新しいNASを引き続き購入する必要があります。
費用がかかり、信頼できないソリューションのように聞こえます。これは確かに反対だと言いたいようです。しかも管理集約的だからです。つまり、IT管理の側面だけでなく、NAS購入による管理オーバーヘッドも意味するからです。
一般的な解決策は、強力なネットワークインターフェイスと複数のドライブベイを備えたストレージサーバーを購入し、使用するにつれて新しいドライブを追加し、時間の経過とともにパフォーマンスが低下し始めると、古いドライブを廃棄することです。 raid 6を設定すると、lvmraidを使用して比較的簡単にこれを行うことができます。すべてのデータを1つの論理ストレージデバイスに保存します。
テラバイトではなくペタバイトについて話した後は、よりクラスタ化可能なものに移行することが選択のアプローチになります。経験はありませんが、ストレージがラックを充填し始めるときのストレージクラスタリングソリューションであるcephについて良いニュースを聞きました。