☰

MD：アレイから新鮮でないSDGを削除してください！ md/raid:md0: 動作可能なデバイスが不足しています (3/7 に失敗)。

tag-icon • tag-icon linux raid mdadm rescue superblock
MD：アレイから新鮮でないSDGを削除してください！ md/raid:md0: 動作可能なデバイスが不足しています (3/7 に失敗)。

今日は災害を受けています。

7台のハードドライブを持つRAID 6があり、昨日のディスクの1つにエラーが発生しました。ディスクを交換して一晩再構築した後
、2台目のHDDがRAIDから外れたことがわかりました。sdgが「閉じている」ことがわかります。
サーバーをシャットダウンしてハードウェアを確認したところ、ハードドライブのバックプレーンが欠落していることがわかりました。

修復後、すべてのドライブが復元されますが、RAID 6は起動しなくなりました。 :-/

dmesg shows me:
md: kicking non-fresh sdg from array!
md: kicking non-fresh sdf from array!
md: kicking non-fresh sde from array!
md/raid:md0: not enough operational devices (3/7 failed)
...
and after many
md0: ADD_NEW_DISK not supported
I can read this:
EXT4-fs (md0): unable to read superblock

sudo mdadm --examinesdg、sdf、およびsde、e、およびfが「」と表示されていることを確認しましたが、State clean修理前に「閉じた」sdgに「Active」が表示されます。したがって、7つのデバイスのうち6つが「クリーン」（sdgを除く）として表示されます。
すべてのデバイスの出力リストは次のとおりです。

Disk sdb
/dev/sdb:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
           Name : N5550:0  (local to host N5550)
  Creation Time : Fri Oct 29 14:43:58 2021
     Raid Level : raid6
   Raid Devices : 7

 Avail Dev Size : 3906770096 (1862.89 GiB 2000.27 GB)
     Array Size : 9766906880 (9314.45 GiB 10001.31 GB)
  Used Dev Size : 3906762752 (1862.89 GiB 2000.26 GB)
    Data Offset : 259072 sectors
   Super Offset : 8 sectors
   Unused Space : before=258992 sectors, after=7344 sectors
          State : clean
    Device UUID : 9180f101:1dacdd9e:4adae9c4:fbeb2552

Internal Bitmap : 8 sectors from superblock
    Update Time : Sat Mar 26 18:13:45 2022
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : 38019182 - correct
         Events : 256508

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAA.A.. ('A' == active, '.' == missing, 'R' == replacing)
Disk sdc
/dev/sdc:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
           Name : N5550:0  (local to host N5550)
  Creation Time : Fri Oct 29 14:43:58 2021
     Raid Level : raid6
   Raid Devices : 7

 Avail Dev Size : 3906770096 (1862.89 GiB 2000.27 GB)
     Array Size : 9766906880 (9314.45 GiB 10001.31 GB)
  Used Dev Size : 3906762752 (1862.89 GiB 2000.26 GB)
    Data Offset : 259072 sectors
   Super Offset : 8 sectors
   Unused Space : before=258992 sectors, after=7344 sectors
          State : clean
    Device UUID : 889c6877:5ee5c647:eebd209c:d9c6abcb

Internal Bitmap : 8 sectors from superblock
    Update Time : Sat Mar 26 18:13:45 2022
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : a71ea53d - correct
         Events : 256508

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 1
   Array State : AAA.A.. ('A' == active, '.' == missing, 'R' == replacing)
Disk sdd
/dev/sdd:
   MBR Magic : aa55
Partition[0] :   3907026944 sectors at         2048 (type fd)
Disk sde
/dev/sde:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
           Name : N5550:0  (local to host N5550)
  Creation Time : Fri Oct 29 14:43:58 2021
     Raid Level : raid6
   Raid Devices : 7

 Avail Dev Size : 3906770096 (1862.89 GiB 2000.27 GB)
     Array Size : 9766906880 (9314.45 GiB 10001.31 GB)
  Used Dev Size : 3906762752 (1862.89 GiB 2000.26 GB)
    Data Offset : 259072 sectors
   Super Offset : 8 sectors
   Unused Space : before=258992 sectors, after=7344 sectors
          State : clean
    Device UUID : 34198042:3d4c802b:36727b02:fdf65808

Internal Bitmap : 8 sectors from superblock
    Update Time : Sat Mar 26 18:05:00 2022
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : f8fb6b18 - correct
         Events : 256494

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 3
   Array State : AAAAA.. ('A' == active, '.' == missing, 'R' == replacing)
Disk sdf
/dev/sdf:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
           Name : N5550:0  (local to host N5550)
  Creation Time : Fri Oct 29 14:43:58 2021
     Raid Level : raid6
   Raid Devices : 7

 Avail Dev Size : 3906770096 (1862.89 GiB 2000.27 GB)
     Array Size : 9766906880 (9314.45 GiB 10001.31 GB)
  Used Dev Size : 3906762752 (1862.89 GiB 2000.26 GB)
    Data Offset : 259072 sectors
   Super Offset : 8 sectors
   Unused Space : before=258992 sectors, after=7344 sectors
          State : clean
    Device UUID : b2e8d640:1f21336f:88d823fe:66ef7be7

Internal Bitmap : 8 sectors from superblock
    Update Time : Wed Mar 23 14:46:56 2022
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : 15cd05bb - correct
         Events : 238681

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 4
   Array State : AAAAAA. ('A' == active, '.' == missing, 'R' == replacing)
Disk sdg
/dev/sdg:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
           Name : N5550:0  (local to host N5550)
  Creation Time : Fri Oct 29 14:43:58 2021
     Raid Level : raid6
   Raid Devices : 7

 Avail Dev Size : 3906770096 (1862.89 GiB 2000.27 GB)
     Array Size : 9766906880 (9314.45 GiB 10001.31 GB)
  Used Dev Size : 3906762752 (1862.89 GiB 2000.26 GB)
    Data Offset : 259072 sectors
   Super Offset : 8 sectors
   Unused Space : before=258992 sectors, after=7344 sectors
          State : active
    Device UUID : 2bc06e22:49aa73e2:3cf7eb79:55df1180

Internal Bitmap : 8 sectors from superblock
    Update Time : Sat Mar 26 17:57:06 2022
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : 7f0ddb2a - correct
         Events : 256372

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 5
   Array State : AAAAAA. ('A' == active, '.' == missing, 'R' == replacing)
Disk sdh
/dev/sdh:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
           Name : N5550:0  (local to host N5550)
  Creation Time : Fri Oct 29 14:43:58 2021
     Raid Level : raid6
   Raid Devices : 7

 Avail Dev Size : 3906770096 (1862.89 GiB 2000.27 GB)
     Array Size : 9766906880 (9314.45 GiB 10001.31 GB)
  Used Dev Size : 3906762752 (1862.89 GiB 2000.26 GB)
    Data Offset : 259072 sectors
   Super Offset : 8 sectors
   Unused Space : before=258992 sectors, after=7344 sectors
          State : clean
    Device UUID : 7af89a18:52ef08ae:dec5ad7b:75626355

Internal Bitmap : 8 sectors from superblock
    Update Time : Sat Mar 26 18:13:45 2022
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : 17d7b107 - correct
         Events : 256508

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 4
   Array State : AAA.A.. ('A' == active, '.' == missing, 'R' == replacing)

次のコマンドでRAIDを起動しようとしました。

mdadm --run /dev/md0

そして得る:

mdadm: failed to start array /dev/md0: Input/output error

しかし、このWebminで始めたとき、次のような結果が出ました。

/dev/md0    active, FAILED, Not Started     RAID6 (Dual Distributed Parity)     7.27 TiB

9TBは7.27です。

データを失うことなくRAIDを再び動作させる方法についてのアイデアはありますか？

デバイスをRAIDに追加できることを読んでいましたが、わからないので、最初に尋ねたいと思います。

どんな助けでも大変感謝します！

修正する：デバイスの1つが/dev/sdd1で、/sddではないことを忘れました！
ここで確認してください：

/dev/sdd1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
           Name : N5550:0  (local to host N5550)
  Creation Time : Fri Oct 29 14:43:58 2021
     Raid Level : raid6
   Raid Devices : 7

 Avail Dev Size : 3906767872 (1862.89 GiB 2000.27 GB)
     Array Size : 9766906880 (9314.45 GiB 10001.31 GB)
  Used Dev Size : 3906762752 (1862.89 GiB 2000.26 GB)
    Data Offset : 259072 sectors
   Super Offset : 8 sectors
   Unused Space : before=258992 sectors, after=5120 sectors
          State : clean
    Device UUID : d8df004e:44ee4060:ba4d2c22:e7e6bdcb

Internal Bitmap : 8 sectors from superblock
    Update Time : Sat Mar 26 18:13:45 2022
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : 1c4e98a4 - correct
         Events : 256508

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 2
   Array State : AAA.A.. ('A' == active, '.' == missing, 'R' == replacing)

ここにいるmdadm -D /dev/md0：

/dev/md0:
           Version : 1.2
        Raid Level : raid0
     Total Devices : 7
       Persistence : Superblock is persistent

             State : inactive
   Working Devices : 7

              Name : N5550:0  (local to host N5550)
              UUID : e866cf54:90d5c74e:fe00b6e7:d25c82f4
            Events : 256494

    Number   Major   Minor   RaidDevice

       -       8       64        -        /dev/sde
       -       8       32        -        /dev/sdc
       -       8      112        -        /dev/sdh
       -       8       80        -        /dev/sdf
       -       8       16        -        /dev/sdb
       -       8       49        -        /dev/sdd1
       -       8       96        -        /dev/sdg

答え1

多くのドライブがアレイから取り外されていると思いますか？これらのドライブに読み取りエラー（smartctl -a再割り当て/停止/修正できないセクタの確認など）がある場合は、ddrescue他の種類のデータ回復を試みる前にそのドライブを新しいドライブに転送する必要があります。

これは7台のドライブRAID-6なので、このアレイを実行するには少なくとも5台のドライブが必要です。現在は3つ（sdb、sdc、sdh）しかありません...

各ドライブを確認すると、1つのドライブが完全に欠落しており（出力にはまったく含まれていません）、1つは非常に古い（sdf）、2つは少し古い（sdg、sde）、3つのドライブだけが最新であることを知っていますすることができますUpdate Time。Events

/dev/sdf: Update Time : Wed Mar 23 14:46:56 2022 Events: 238681
/dev/sdg: Update Time : Sat Mar 26 17:57:06 2022 Events: 256372
/dev/sde: Update Time : Sat Mar 26 18:05:00 2022 Events: 256494
/dev/sdb: Update Time : Sat Mar 26 18:13:45 2022 Events: 256508
/dev/sdc: Update Time : Sat Mar 26 18:13:45 2022 Events: 256508
/dev/sdh: Update Time : Sat Mar 26 18:13:45 2022 Events: 256508

この場合、機会をつかんでmdadm --assemble --force（「新しくない」イベントカウンタを無視して）、非常に古くて不足しているドライブを無視して、最良の5つのドライブしか使用できません。そうでなければmdadm - 作成missing2つのドライブを取り付けるオプションもあります。

したがって、この組み立ての試みではsdfの使用を避ける必要があります。ドライブが古くなるにつれて、ファイルシステムの不整合やデータ破損が発生する可能性が高くなります。これは、他のドライブにデータがまったくない一部のセクタがある場合（読み取りエラー）、最後の手段です。

可能であれば、mdadm実験を実行してください。記録中にコピーを上書きする。

頑張ってください。

関連情報