嘿哈布爾！
元旦假期過後，我們重新上線了基於兩個站點的災難雲。 今天，我們將告訴您它是如何運作的，並展示當叢集的各個元素發生故障並且整個網站崩潰時，客戶端虛擬機會發生什麼情況（劇透 - 它們一切都很好）。
OST站點的容災雲端儲存系統。
什麼在裡面
在後台，該叢集擁有配備 VMware ESXi 管理程式的 Cisco UCS 伺服器、兩個 INFINIDAT InfiniBox F2240 儲存系統、Cisco Nexus 網路設備以及 Brocade SAN 交換器。 此叢集分為兩個站點－OST和NORD，也就是每個資料中心都有一套相同的設備。 事實上，這就是它能夠抵禦災難的原因。
在一個站點內，主要元素也是重複的（主機、SAN 交換器、網路）。
這兩個站點透過同樣保留的專用光纖線路連接。
關於儲存系統的幾句話。 我們在 NetApp 上建置了第一個版本的防災雲。 這裡我們選擇了 INFINIDAT，原因如下：
- 主動-主動複製選項。 即使其中一個儲存系統完全故障，它也允許虛擬機器保持運作。 稍後我會告訴你更多關於複製的資訊。
- 三個磁碟控制器可提高系統容錯能力。 通常有兩個。
- 準備好的解決方案。 我們收到了一個預組裝的機架，只需連接到網路並進行配置即可。
- 細心的技術支援。 INFINIDAT 工程師不斷分析儲存系統日誌和事件、安裝新韌體版本並協助進行設定。
以下是一些開箱照片：
它是如何工作的
雲本身已經具有容錯能力。 它可以保護客戶端免受單一硬體和軟體故障的影響。 抗災能力將有助於防止一個站點內發生大規模故障：例如，儲存系統（或 SDS 集群，這種情況經常發生）故障、儲存網路中的大規模錯誤等。 嗯，最重要的是：當整個站點因火災、停電、襲擊者接管或外星人登陸而無法訪問時，這樣的雲可以節省時間。
在所有這些情況下，客戶端虛擬機器都會繼續運作，原因如下。
叢集設計旨在使任何具有客戶端虛擬機器的 ESXi 主機都可以存取兩個儲存系統中的任何一個。 如果OST站點上的儲存系統發生故障，虛擬機器將繼續運作：執行虛擬機器的主機將存取NORD上的儲存系統以取得資料。
這就是集群中的連結圖的樣子。
這是可能的，因為在兩個站點的 SAN 結構之間配置了交換器間連結：結構 A OST SAN 交換器連接到結構 A NORD SAN 交換機，結構 B SAN 交換器也是如此。
那麼，為了使 SAN 工廠的所有這些複雜性有意義，在兩個儲存系統之間配置了主動-主動複製：資訊幾乎同時寫入本地和遠端儲存系統，RPO = 0。 事實證明，原始資料儲存在一個儲存系統上，其副本儲存在另一個儲存系統上。 資料在儲存磁碟區層級進行複製，VM 資料（其磁碟、設定檔、交換檔案等）儲存在儲存磁碟區上。
ESXi 主機將主磁碟區及其副本視為一個磁碟裝置（儲存裝置）。 從 ESXi 主機到每個磁碟裝置有 24 條路徑：
12條路徑連接到本機儲存系統（最優路徑），其餘12條路徑連接至遠端儲存系統（非最佳路徑）。 正常情況下，ESXi 使用「最佳」路徑存取本機儲存系統上的資料。 當此儲存系統發生故障時，ESXi 會遺失最佳路徑並切換到「非最佳」路徑。 這就是圖表上的樣子。
防災集群方案。
所有客戶端網路都透過公共網路結構連接到兩個站點。 每個站點都運行一個提供者邊緣 (PE)，客戶端的網路在其上終止。 PE 被聯合到一個公共集群。 如果一個站點的 PE 發生故障，所有流量將會重新導向到第二個站點。 因此，用戶端仍可以透過網路存取來自沒有 PE 的網站的虛擬機器。
現在讓我們看看在各種故障期間客戶端虛擬機會發生什麼情況。 讓我們從最輕的選項開始，以最嚴重的選項結束——整個網站的故障。 在範例中，主平台將是 OST，帶有資料副本的備份平台將是 NORD。
如果...，客戶端虛擬機會發生什麼狀況？
複製連結失敗。 兩個站點的儲存系統之間的複製停止。
ESXi 僅適用於本機磁碟裝置（透過最佳路徑）。
虛擬機器繼續工作。
ISL（交換器間連結）中斷。 一個不太可能發生的事件。 除非某個瘋狂的挖土機一次挖出幾條光路，這些光路運行在獨立的路線上，透過不同的輸入帶到站點。 但不管怎麼說。 此時，ESXi主機遺失一半路徑，只能存取本機儲存系統。 副本被收集，但主機將無法存取它們。
虛擬機器運作正常。
其中一個站點上的 SAN 交換器發生故障。 ESXi 主機會遺失一些到儲存系統的路徑。 在這種情況下，交換器發生故障的站點上的主機將僅透過其 HBA 之一工作。
虛擬機器繼續正常運作。
其中一個站點上的所有 SAN 交換器均發生故障。 假設這樣的災難發生在 OST 網站。 在這種情況下，該網站上的 ESXi 主機將遺失其磁碟裝置的所有路徑。 標準的VMware vSphere HA機制開始發揮作用：它將在最多140秒內重新啟動NORD中OST站點的所有虛擬機器。
NORD 站台主機上執行的虛擬機器運作正常。
ESXi 主機在一個站點上發生故障。 此時，vSphere HA 機制再次發揮作用：發生故障的主機中的虛擬機器將在同一或遠端站台上的其他主機上重新啟動。 虛擬機器重啟時間最長為1分鐘。
如果 OST 站點上的所有 ESXi 主機都發生故障，則沒有其他選擇：在另一台主機上重新啟動虛擬機器。 重啟時間是一樣的。
儲存系統某一站點故障。 假設 OST 站點的儲存系統發生故障。 然後，OST 網站的 ESXi 主機切換為使用 NORD 中的儲存副本。 故障儲存系統復原服務後，將發生強制複製，ESXi OST 主機將再次開始存取本機儲存系統。
虛擬機器一直運作正常。
其中一個站點故障。 在這種情況下，所有虛擬機器將透過 vSphere HA 機制在備份站點上重新啟動。 VM重啟時間為140秒。 在這種情況下，虛擬機器的所有網路設定都將被保存，並且客戶端仍然可以透過網路存取它。
為確保備份站點機器重啟順利，每個站點僅半滿。 後半部是備用的，以防所有虛擬機器從第二個損壞的站點移動。
基於兩個資料中心的抗災雲可以防止此類故障。
這種樂趣並不便宜，因為除了主要資源之外，第二個站點還需要儲備。 因此，關鍵業務服務被放置在這樣的雲端中，其長期停機會導致巨大的財務和聲譽損失，或者如果資訊系統受到監管機構或公司內部法規的災難復原要求。
來源：
來源： www.habr.com