Proxmox 在兩塊直連 NVMe 上怎麼劃分?

安裝器會列出兩塊獨立的 1TB NVMe。一塊安裝 Proxmox,另一塊作為虛擬機器磁碟的儲存。兩塊都不在硬體陣列裡,可用容量是兩塊相加。

兩塊硬碟各自直連可用容量按兩塊相加,不是鏡像後的 1TB。
系統與資料分開一塊安裝 Proxmox,另一塊做虛擬機器磁碟。
沒有硬體陣列安裝器裡不要把兩塊綁成 RAID。

先確認機器交出的是兩塊硬碟

下單時的預設磁碟寫的是 2×1TB NVMe,無硬體 RAID,硬碟獨立直連。可用容量按 2TB 理解,不是 RAID-1 鏡像之後剩下的 1TB。安裝 Proxmox 之前,先在主控台核對這台機器的記憶體檔和系統選項,避免把 128GB 與 256GB 裝混,也避免裝成 Windows 之後再改口要虛擬化。

直連的意思是:每塊硬碟以自己的設備名出現在操作系統裡,控制器沒有把它們捆成一個邏輯卷。Proxmox 安裝器、Debian 的 lsblk、以及後來的儲存介面,都會看到兩塊容量接近 1TB 的 NVMe。塊數對不上,先停下來對照訂單,不要在只看見一塊硬碟的時候繼續分區。

記憶體是 DDR4-3200 ECC RDIMM,在下單時於 128GB 與 256GB 兩檔裡選定。Proxmox 本身佔用不大,虛擬機器數量主要吃記憶體。磁碟劃分改變的是虛擬機器磁碟放在哪一塊硬碟上,不改變記憶體檔。

看到的設備建議用途不要當成
第一塊 1TB NVMeProxmox 系統與本地系統磁碟全部虛擬機器磁碟的落點
第二塊 1TB NVMe虛擬機器磁碟目錄或單磁碟儲存硬體鏡像的副本
加裝的 2TB另一塊直連資料磁碟自動加入陣列的成員

安裝器裡按硬碟分別處理

從 Proxmox VE 8 或 9 的安裝介質啟動。目標磁碟只選其中一塊 1TB。檔案系統可以用安裝器預設的 ext4,也可以在這一塊上使用 ZFS 單磁碟。無論哪一種,都只作用於被選中的那一塊,不會自動把第二塊收進同一個池。

安裝器詢問硬碟時,記下兩塊硬碟的型號和序列或設備路徑。選錯硬碟會把原有分區清掉。這台機器如果是新裝,兩塊都是空的,仍然建議固定:序列較小或安裝器列表中的第一塊做系統,第二塊留空,裝完再加儲存。

網路在安裝階段先寫一塊管理位址。預設訂單含 1 個 IPv4,額外位址按個另計,和磁碟不是同一件事。管理位址用來開啟 Proxmox 的網頁介面,虛擬機器的業務位址可以稍後從同一批位址裡再分配。位址怎麼計數,見另一篇筆記,這裡不把磁碟和位址綁在同一步。

  1. 啟動安裝介質,確認列表裡有兩塊約 1TB 的 NVMe。
  2. 只把 Proxmox 裝到其中一塊,另一塊保持未使用。
  3. 設好主機名、管理位址和 root 密碼。密碼與主控台初始口令分開保管。
  4. 安裝結束後用 SSH 登入,再開啟儲存介面添加第二塊硬碟。

第二塊硬碟做成獨立儲存

系統起來之後,在節點的磁碟列表裡找到那塊還沒有掛進 Proxmox 儲存的 NVMe。常見做法有兩種,二選一即可。

第一種是目錄儲存。在第二塊硬碟上建立一個分區和檔案系統,掛到例如 /mnt/vmdata,然後在資料中心的儲存裡新增 Directory,指向這個掛載點,內容勾選磁碟鏡像和備份。虛擬機器磁碟檔案落在這塊硬碟上,和系統磁碟的 local、local-lvm 分開。系統磁碟滿了不會直接把虛擬機器磁碟卷進來,反之亦然。

第二種是單磁碟 ZFS。給第二塊硬碟單獨建一個池,不要把第一塊系統磁碟再加進這個池。池名取得和系統磁碟不同,例如 vmdata。Proxmox 會把它認成 ZFS 儲存。單磁碟 ZFS 提供的是校驗和和以後加裝硬碟時的擴展路徑,不是兩塊硬碟之間的鏡像。鏡像需要至少兩塊成員,而這裡的目標是把容量用滿,不是把 2TB 收成 1TB。

兩塊 1TB 相加才是這台機器預設的可用磁碟。做成鏡像之後,虛擬機器只能使用大約 1TB,和訂單上的 2TB 不一致。

虛擬機器建立時,系統磁碟可以仍放在第一塊的 local-lvm,資料磁碟改放到第二塊的儲存。資料庫虛擬機器更適合把資料磁碟放在第二塊,避免和 Proxmox 的日誌、ISO、模板搶同一塊硬碟的寫入。

硬體陣列不存在,軟陣列要自己決定

訂單沒有硬體 RAID。安裝器或主板介面裡如果出現陣列向導,不要在那裡把兩塊 NVMe 綁成 RAID-1 或 RAID-0。綁完之後,操作系統只能看見一塊邏輯磁碟,Proxmox 也無法再把系統和資料拆開,容量算法也會變。

如果業務要求一份鏡像,用軟體方式在明確知道容量減半的前提下再做,並且寫進自己的變更記錄。預設交付不包含這一步。備份應放到另一塊硬碟、另一台機器,或定期導出。同一塊硬碟上的第二分區不是備份。

加裝的 2TB NVMe 同樣獨立直連,不加入硬體陣列。下單時最多再加兩塊,每塊月價 $71。加裝硬碟在系統裡會多出設備名。把它們建成新的目錄或新的單磁碟池,不要在不知情的情況下 zpool add 到已經在跑虛擬機器的池裡。擴展池和新建池是兩件不同的事,前者會改變已有池的結構。

記憶體檔決定能開多少台虛擬機器

磁碟分開之後,還要看記憶體夠不夠分。128GB 與 256GB 是兩款機型,不是裝好以後再插一條記憶體。Proxmox 節點自己留出一部分記憶體給宿主和快取,其餘按虛擬機器分配。一台資料庫如果要 64GB,128GB 的機器在留出宿主之後,餘量只夠再開幾台小虛擬機器。站點很多、每台虛擬機器不大時,128GB 往往夠用。要在同一台上同時跑資料庫和多組虛擬機器,先選 256GB 這一檔。

處理器是 AMD EPYC 7543P,32 核 / 64 執行緒,2.8–3.7 GHz,256MB L3。核心可以分給多台虛擬機器,但記憶體不能超分到把宿主擠死。磁碟再多,也不能代替記憶體。先定記憶體檔,再決定虛擬機器磁碟放在第二塊 NVMe 還是加裝硬碟上。

OSFP Cloud 的這兩檔月繳分別是 $462 與 $595,機房在日本東京。應付按月租乘以月數,加裝硬碟的月價先加進月租。系統裡可以選擇 Proxmox VE 8 或 9,這兩項不計系統加價。頻寬預設 250M,不限流量,需要更高時再改 1G 或 2G,那是網路選項,不改變磁碟劃分。

裝完之後核對這幾項

用 SSH 登入節點,而不是只看網頁介面。網頁能建虛擬機器,排障時仍然要在殼裡看設備。核對順序如下。

  • 兩塊預設 NVMe 都在,容量各自接近 1TB,沒有被收成一塊 1TB 的邏輯磁碟。
  • 系統儲存和資料儲存指向不同的設備。把一個測試虛擬機器的磁碟建立在第二塊上,確認檔案或 zvol 不在系統磁碟。
  • 如果訂了加裝硬碟,設備數等於 2 加上加裝塊數。缺一塊就先查訂單和接線,不要用剩下的硬碟硬湊容量。
  • 管理位址能開啟 8006 連接埠的介面。業務位址若已分配,在虛擬機器裡配置,不寫進宿主的同一塊網卡位址裡混用,除非明確做了橋接規劃。
  • 把 ISO 和備份目錄放到空間更大的那一塊,避免系統磁碟被鏡像和備份寫滿之後節點無法更新。

這一套分法適合把 Proxmox 直接裝在整機上,由本帳號劃分虛擬機器。它不依賴硬體陣列,也不把第二塊硬碟藏進鏡像。容量、備份和記憶體檔是三筆帳,分開記,裝的時候才不會把 2TB 做成 1TB,或把資料庫和系統日誌寫在同一塊硬碟上。

EPYC 7543P

按記憶體檔安裝 Proxmox

128GB 或 256GB,預設 2×1TB NVMe 直連。系統可選 Proxmox VE 8 或 9。

$462 / 月起

  • EPYC 7543P,32 核 / 64 執行緒
  • 128GB 或 256GB DDR4-3200 ECC RDIMM
  • 2×1TB NVMe,硬碟獨立直連
  • 日本東京 · SSH / RDP · 無安裝費