Runbook · PowerEdge R620

R620 陣列設置手冊

由 POST 撳掣時序,到建立 Virtual Disk,到 Ubuntu 安裝程式終於見到隻碟。專治「明明插咗三隻碟但係搵唔到」。

機器
PowerEdge R620
RAID 控制器
PERC H710 Mini
硬碟
3 × 512 GB
目標 OS
Ubuntu Server

你而家嘅情況

症狀:Ubuntu 安裝程式話搵唔到硬碟

呢個唔係 Ubuntu 嘅問題,亦唔係你三隻碟壞咗。係 PERC 控制器根本未將啲碟交畀 OS。

  1. 因PERC H710 Mini 冇 JBOD/HBA 直通模式。呢張卡唔似普通 SATA 控制器,佢唔會將裸碟原封不動交畀作業系統。
  2. 果未建立 Virtual Disk(VD)之前,控制器對外完全唔會呈現任何區塊裝置。
  3. 所以Ubuntu 安裝程式睇到嘅係「零隻碟」,唔係「碟有問題」。三隻碟插得幾實都一樣。

結論:你要做嘅唔係搞 Ubuntu,係返去 PERC 度確認 VD 究竟有冇建成。你之前行 F10 Lifecycle Controller 嗰次,極有可能喺最後個 Summary 頁冇撳到 Finish —— 咁樣行完成個 wizard,實際上乜都冇寫入。

開機撳掣時序

R620 由通電到開始 boot 有四個階段,唔同嘅掣喺唔同階段先食。最多人撞板嘅位:Ctrl+R 出現得比 F10 遲好多,喺 Dell 開機畫面嗰陣狂撳 Ctrl+R 係完全冇用嘅。

0:00 – 0:50

iDRAC 初始化

風扇全速轉,畫面黑或者停喺 Dell logo。呢段時間撳乜都冇用,淨係等。R620 呢個階段出名慢。

0:50 – 1:10

系統設定提示

Dell PowerEdge 畫面,右上角列出可用按鍵。想入 Lifecycle Controller 就喺呢度撳。

F2 System Setup F10 Lifecycle Controller F11 Boot Manager F12 PXE
視窗約 15–20 秒
1:10 – 1:40

記憶體測試

行 memory training。撳掣一樣冇反應。如果你頭先撳咗 F10,就唔會行到落下一階段 —— 兩條路係二選一。

1:40 – 1:45

PERC BIOS 初始化 ← 就係呢度

畫面轉做 PERC 嘅初始化訊息,底部會出一行字叫你撳 Ctrl+R。

Ctrl+R PERC Configuration Utility
視窗只有 3–5 秒,撳漏就要重開機
PowerEdge Expandable RAID Controller BIOS Copyright (c) LSI Corporation HA -0 (Bus 2 Dev 0) PERC H710 Mini FW package: 21.3.5-0002 0 Virtual Drive(s) found on the host adapter. Press <Ctrl><R> to Run Configuration Utility

呢一行 0 Virtual Drive(s) found 就係你問題嘅實錘。搞掂之後呢度應該變成 1 Virtual Drive(s) found。

方法 A · PERC BIOS(建議行呢條)

比 Lifecycle Controller 直接、快好多,而且唔會靜靜失敗。每一步嘅結果即刻喺畫面見到。

  1. 開機,等到 PERC BIOS 畫面(上面時序第 4 階段)先撳 Ctrl+R。撳早咗係冇用嘅。

  2. 入到 VD Mgmt 頁。頂部有四個分頁,用 Ctrl+N 去下一頁、Ctrl+P 返上一頁:

    VD Mgmt → PD Mgmt → Ctrl Mgmt → Properties

  3. 先去 PD Mgmt 睇三隻碟嘅狀態。你應該見到三行,每行 Ready。如果唔係 Ready,睇下面對照表處理,搞掂咗先好繼續。

    顯示狀態意思點處理
    Ready乾淨,可以用直接落下一步
    Foreign呢隻碟喺第啲控制器或者舊陣列用過返 VD Mgmt → F2 → Foreign Config → Clear
    Non-RAID被設成直通模式,H710 唔會攞嚟砌陣列揀住佢 → F2 → Convert to RAID Capable
    Failed / Blocked碟本身、背板或者托架有問題熄機重插;換個 slot 再試
    完全冇顯示控制器見唔到隻碟檢查背板排線同托架有冇插到底
  4. 返去 VD Mgmt(Ctrl+P),將游標移到最頂嗰行 controller(PERC H710 Mini),撳 F2,揀 Create New VD。

  5. RAID Level 揀 RAID-5(三隻碟嘅標準答案,理由見下面對照表)。

  6. Physical Disks 欄用 空白鍵 逐隻勾,三隻都要打勾。

  7. VD Size 唔使改,佢會自動計出約 931 GiB。VD Name 打個名,例如 ubuntu。

  8. 入去 Advanced Settings,勾 Initialize。

    唔勾都建到 VD,但隻碟會處於未初始化狀態,Ubuntu 安裝程式有機會照樣唔認、或者裝完之後行為古怪。呢個掣只係多撳一下,唔好慳。

  9. 揀 OK。會彈一個警告話所有資料會冇 —— 呢個係真嘅,再撳 OK。

  10. 返到 VD Mgmt,你應該見到一個新嘅 VD,State 係 Optimal。如果係 Degraded 或者 Offline,返去 PD Mgmt 睇邊隻碟出事。

  11. Esc 退出,確認,然後 Ctrl+Alt+Del 重開機。

方法 B · F10 Lifecycle Controller

你原本行嘅就係呢條路。做得啱係 work 嘅,但 wizard 步數多,而且中途退出唔會有任何錯誤提示 —— 所以先至會出現「我明明設置咗」但實際上乜都冇寫入嘅情況。

  1. 開機,喺 Dell 畫面出現按鍵提示嗰陣撳 F10。

  2. 等 Lifecycle Controller 載入。好慢,一至兩分鐘,唔好以為死咗機就熄電。

  3. 左邊選單揀 Hardware Configuration。

  4. 揀 Configuration Wizards → RAID Configuration。

  5. 控制器揀 PERC H710 Mini → Next。

  6. 如果佢話發現 foreign configuration,揀 Clear。(除非你想救返舊陣列嘅資料 —— 咁就要揀 Import,睇下面警告。)

  7. RAID Level 揀 RAID 5 → Next。

  8. Physical Disks 勾晒三隻 → Next。

  9. Virtual Disk Attributes 改個名,其餘預設 → Next。

  10. 行到 Summary 頁,一定要撳 Finish。

    呢一步就係你最大嫌疑嘅甩轆位。喺 Summary 頁撳 Esc、Back、或者以為 Next 已經完事而離開,成個 wizard 嘅設定會全部丟棄,而且唔會彈任何警告。你會覺得自己設置咗,但 PERC 其實乜都冇收過。

  11. 彈出確認框揀 Yes,等 LC 套用設定,佢會自動重開機。

驗證(唔好跳)

重開機之後,喺 POST 望住 PERC BIOS 嗰段訊息。呢個係唯一可靠嘅確認方式,唔好等入到 Ubuntu 先發現又失敗。

HA -0 (Bus 2 Dev 0) PERC H710 Mini FW package: 21.3.5-0002 1 Virtual Drive(s) found on the host adapter. 1 Virtual Drive(s) handled by BIOS

見到 1 Virtual Drive(s) 就成功,可以開始裝 Ubuntu。

如果仲係 0 Virtual Drive(s) found,唔好去試 Ubuntu,直接返上面方法 A 重做一次 —— 而且今次特別留意 PD 狀態係咪三隻都 Ready。

三隻 512 GB 點砌

配置可用容量容錯評語
RAID 0(三隻)~1.5 TB0 隻任何一隻死,三隻嘅資料一齊冇。唔好用。
RAID 1(兩隻)+ Hot Spare~512 GB1 隻,自動重建最穩陣,但三隻碟得 512 GB 用,好浪費。
RAID 5(三隻)~1 TB1 隻三隻碟嘅標準答案。容量同安全嘅平衡點。
三個單碟 RAID 03 × 512 GB0 隻當三隻獨立碟用。H710 冇 JBOD,要當獨立碟就只能咁做。

RAID 5 喺 H710 上面嘅寫入效能一般,特別係如果張卡嘅 BBU 電池老化或者唔見咗 —— 咁 write cache 會被強制降做 write-through,寫入會明顯慢。想快而又要容錯就要 RAID 10,但嗰個要四隻碟。你而家三隻,RAID 5 係啱嘅。

入到 Ubuntu 之後

安裝程式應該見到一隻約 931 GiB 嘅碟。裝完開機之後,用呢幾條指令確認控制器同陣列狀態:

# 應該見到一隻 ~931G 嘅 sda,唔會見到三隻獨立碟 lsblk # 確認控制器被認到:LSI MegaRAID SAS 2208 就係 H710 lspci | grep -i raid # 驅動有冇載入 lsmod | grep megaraid_sas sudo dmesg | grep -i megaraid

想喺 OS 入面直接睇陣列健康狀態(唔使重開機入 PERC BIOS),裝 Dell 嘅 perccli:

# 控制器總覽 sudo perccli /c0 show # VD 詳情,睇 State 係咪 Optimal sudo perccli /c0/v0 show all # 逐隻實體碟嘅狀態同溫度 sudo perccli /c0/eall/sall show

RAID 5 陣列唔會自己話你知有碟壞咗。三隻碟死一隻,系統照行,你完全唔會察覺 —— 直到第二隻都死,就一次過全冇。搞掂之後記得設個定期檢查,最起碼每星期行一次 perccli /c0/v0 show。

撞板對照表

症狀成因處理
Ubuntu 安裝程式 0 隻碟VD 未建成Ctrl+R 入去睇 VD Mgmt 有冇嘢
PERC 顯示 0 Virtual Drive(s)同上,而且係實錘方法 A 重做
撳極 Ctrl+R 都冇反應撳得太早,喺 F2/F10 提示階段撳要等到 PERC BIOS 畫面,即時序第 4 階段
PD 顯示 Foreign碟喺舊陣列/第啲機用過F2 → Foreign Config → Clear
PD 顯示 Non-RAID被設成直通,H710 唔會用F2 → Convert to RAID Capable
PD Mgmt 完全空白背板排線鬆、托架未到底、碟死熄機重插,逐隻換 slot 隔離
VD State Offline成員碟甩咗或者壞咗睇 PD Mgmt 邊隻唔見咗
VD 建好但 Ubuntu 仍然唔見Boot Mode 唔一致F2 → Boot Settings,UEFI/BIOS 要同你隻 ISO 嘅開機方式一致
iDRAC 虛擬 console 撳唔到掣網絡延遲食咗按鍵用實體鍵盤;或者喺視窗期內連續狂撳

做之前睇清楚

建立 Virtual Disk 會清空三隻碟嘅所有嘢

唔係「格式化」咁簡單,係整條陣列重新劃分。三隻碟入面有任何你想保留嘅嘢,而家就要備份走。

Clear Foreign Config 一樣會清資料。如果嗰三隻碟本身就係一個舊 RAID 陣列,而你想救返裡面啲嘢,唔好揀 Clear,要揀 Import。Clear 咗就冇得返轉頭。

R620 有 iDRAC7。如果你設咗 iDRAC 嘅 IP,可以用瀏覽器入去 Storage → Virtual Disks 直接睇陣列狀態,唔使企喺部機面前等 POST。之後日常檢查用呢個最方便。