« 內部開發者平台與入口網站的連結之道 基於VLAN的多層交換 »

雲端平台儲存專案規劃的綱要原則

Friday, March 15, 2024 Huawei 0条评论 0个引用

  twt社区

雲端平台儲存架構規劃與設計,可與傳統資料中心儲存的規劃實務思路求同存異。 同,是規劃與設計的方向相同。 都是始於業務需求,著眼於儲存類型、資料量級、業務場景,於空間佈局、增容擴充以及故障容災上進行精細配置。 異,則是詳細設計的方向不同。 傳統資料中心儲存的規劃與實務著重於對儲存網路、品牌效能、進階特性最佳化的著墨,一般對儲存架構及效能的配置、調整、最佳化重點關注,繫一種架構思維去推動產品實踐的模式。 而雲端平台的儲存規劃,是鑑於雲端架構的服務化與平台化的能力,雲端平台儲存類型、規格、效能、擴縮容以及計費等模式一覽無餘,即開即用無需繁雜的設計與規劃 。 雲端平台儲存的規劃與設計,更像是“連連看”,將實際的業務需求、業務場景和與之最佳匹配的雲端儲存做連線,盡可能的將雲端儲存服務的能力融入到業務 多維度的資料需求,形成全方位的部署。 因此,雲端平台儲存的規劃與設計,幾乎是需求目標與設計實踐一對一的業務驅動科技的現實演繹。

雲端平台儲存架構規劃與設計的維度,一般分為儲存選型、空間佈局、效能最佳化、故障容災等多個階段。 在進行雲端平台儲存的細緻設計之前,架構師首先會對雲端業務系統的資料儲存需求進行研究與分析,在前期的摸排階段專注於業務系統的量級、負載、可用性等關鍵業務指標,轉化 成對雲端平台儲存的需求,即儲存類別選用、初始空間評估、關鍵壓力效能、資料保護。

儲存選用

儲存選型一般先做粗略分類,將結構化與非結構化儲存區分,然後在非結構化與結構化儲存上做細緻分類。 資料的存取形式與雲端平台儲存的選型也存在著強烈的集聯關係:結構化雲端平台儲存基於其關聯業務幾乎是線上業務或高負載業務,因此其選擇搭配範圍較為固定。 生產ECS儲存一般業務選擇普通雲端碟、高負載業務優先選擇讀寫密集型高效雲端磁碟。 雲端資料庫儲存通常為高效率型SSD;非結構化資料多為企業的歸結資料如證件資料圖片、影片、交易訊息等,此類資料的儲存選項很大程度取決於業務對資料的存取策略 及性能要求,持續在線數據使用計算型存儲,低頻回訪數據使用歸檔存儲,IO頻繁則使用熱存儲,反之則選擇冷存儲。 非結構化雲端儲存的選型上,通常建議複合選擇以達到最佳實踐,這是因為非結構化資料在業務的不同時期其存取需求各異,線上生產經營週期內需要隨存隨取, 不定時存取進行業務生產並可能形成持續壓力,此時資料建議配置在物件儲存上。 當超過生產經營週期,資料由熱轉冷,不需要頻繁訪問,在此期間此類資料則建議由生產的物件儲存歸檔至低頻冷儲存上。 冷熱資料儲存單獨配置,既適配了業務的負載特性又方便獨立管理,同時在雲端平台的整體開銷上也形成了良性的最佳化導向。

空間佈局

在雲端平台儲存空間佈局上,通常使用年度測演算法評估業務資料需求總量。 例如以月度或季度統計業務的資料單位資料量,以一年為時間長度統計業務資料年度基礎量,評估出該業務正常經營一年的資料量預估值。 以三年為實時間長度模擬業務資料量的成長,最終評估出業務資料需求總量。 雲端平台儲存初始空間大小約等於最終業務資料需求總量除以經典壓力負載常數(經典值為70%)。 雲端平台儲存的空間通常宜多不宜少,尤其對於正處於發展期(經營超過一兩年)的業務,空間計算時預估的年度增長值通常會低於業務實際增長。 儘管雲端平台儲存的空間分配與傳統儲存不同,模糊淡化了LUN的概念,但在雲端平台儲存空間佈局上仍要保持傳統儲存上LUN分配的幾個原則——「獨立不集中、宜多不宜大 」。 以ECS儲存配置為例,在分配ECS雲端磁碟資源時,系統磁碟與資料盤建議獨立配置(獨立不集中),方便系統故障無法開啟可將資料碟迅速掛載到其他ECS快速復原業務資料。 ECS不同資料盤之間,建議多盤部署分攤業務IO、避免單盤過大造成復原困難或觸達雲盤效能瓶頸(宜多不宜大)。

效能最佳化

雲端平台儲存除了滿足業務的基本需求,對雲端平台儲存效能敏感的業務、難以抉擇雲平台儲存最佳選型的情況,均強烈建議進行效能壓測,模擬真實業務運作監測雲端儲存的實際運作效能 ,雲端平台儲存服務標定的儲存規格及效能標定無法真實反映業務的實際運作情況。 常見的雲端平台儲存測試大致可分為三類:

1. FIO類工具的複合雲端儲存測試,透過指定IO塊大小、IO深度、各IO百分比等參數模擬雲端儲存的裸盤性能。 此類工具的測試結果可作為業務初步模擬的基礎參考,結果符合業務運作要求後再進行後續應用測試。

2. 真實業務模擬測試,通常部署業務應用集群,選擇核心業務流程,填充業務模擬數據進行低、中、高負載的多輪持續壓測,結合裸盤性能測試報告,持續變更雲平台存儲的配置 進行業務適配性優化。

3. 資料庫類別應用程式測試,資料庫類別測試工具非常多,如Sysbench、Swingbench、BenchmarkSQL等,選擇適當工具進行OLAP或OLTP測試。 資料庫類別測試結果的最佳化往往需要DBA反覆調試資料庫參數,以及雲端平台儲存工程師對儲存佈局進行適配。 在雲端平台儲存的效能問題上, 我們常常面對一個選擇-雲端平台儲存的高階特性(如智慧預讀、冷熱分層、重複資料刪除等)是否可以開啟利用? 雖然高階特性帶來的儲存效能提升顯而易見,但是否是其業務營運發展需求? 其次高階特性的方案成熟度是否完善、是否經過時間的檢驗? 最後開啟高階特性的副作用場景我們也應同步考慮,如智慧預讀中部分場景的讀取放大、冷熱分層特性中的快取擊穿、重複資料刪除中元資料故障資料重構等問題。 雲端平台儲存事故無大小,一旦發生,其影響的點和麵將相當廣。 對於成熟的高階特性可適當規劃在生產實務中開啟引用,但一切的前提均是在效能持續壓測中進行充分驗證。

故障容災

雲端平台儲存的故障容災手段是相當豐富的,大多可實現資料的快速恢復,例如ECS雲端碟的快照、OSS的跨域同步、NAS的快照備份等。 在專案實務中如何做好合適的規劃呢? 首先業務系統重要等級與資料完整性高低是雲端平台儲存的資料保護基準也是核心參考,因此進行雲端平台儲存專案前的業務研究報告就相當重要。 核心等級越高、完整性要求越嚴格的業務資料啟用的雲端平台儲存資料保護越全面,盡可能減少RPO和RTO。 同時也要牢記一個原則──所有雲端平台業務資料至少配置一種資料保護手段。 在常規實踐中,雲端平台儲存上的故障容災推薦以雲端服務資料保護為主,傳統備份恢復軟體為輔,雲端保護主要實現資料的迅速恢復,備份恢復軟體突出對資料的長期保存或異地離線 需求。 若以專案場景為例,ECS的雲端磁碟資料一般要求透過快照保護,若專案允許輔以備份復原系統對ECS進行完整性備份或離線匯出異地保存等,實現更精確的備份還原。 OSS和NAS除了本身的複製、快照手段,還可以進行跨區域同步等能力實現多份資料的冗餘,利用集中備份還原系統實現週期性的合成全備份實現細粒度的恢復需求。 雲端資料庫儲存的資料保護,實體備份、邏輯備份、沙箱保護等多種技術可進行多元組合,同時還可結合備份復原系統進行雲端資料庫的離線出庫等等。

以上是雲端平台儲存專案規劃的一點經驗之談,或者說是專案規劃的綱要原則。 雲端平台儲存專案的規劃是一個實踐性的話題,不同的業務場景、不同的業務需求給出的規劃設計完全不同,並沒有一個標準的公共答案。 但有一點是可以明確的,那就是專案前對業務系統的研究與分析,這才是雲端平台儲存專案規劃的基礎。

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

最近发表

Powered By Z-Blog 1.8 Arwen Build 81206