« MySQL的root密碼如何找回?2024年最佳KUBERNETES工具 »

哪些資料備份場景依然是信創趨勢下的關注重點?

Friday, January 19, 2024 Vmware 0条评论 0个引用

  twt社区

【摘要】資料是企業的核心資產,資料備份可以有效應對系統運作過程中的存在的資料損失風險,是保障業務連續性的基石。 對於關係型資料庫備份、檔案備份、虛機備份等傳統備份場景,現有的備份技術和解決方案已經相當成熟且普及。 隨著IT基礎設施國產化進程的大力推進,同時伴隨著近年來,雲端原生、分散式資料庫等分散式技術的蓬勃發展,我們需要重新審視現有的備份技術和體系,辨別新形勢下新 的備份場景,同時需要為這些新的備份場景尋找合適的備份解決方案。

【作者】康建國,某省農信資深系統工程師,主要負責Power小型機、儲存、資料庫等方面的維運及管理工作,對儲存雙活、資料庫高可用等方面有著深入的見解。

在談資料備份之前,首先需要先明確一下備份和容災的區別,因為我們討論備份場景的時候一些同行會發出這樣的困惑:我們這個資料平台底層是多副本設計,為啥還要做備份? 我們這個資料庫透過資料複製實現了同城容災,為啥本地還要做備份?

當資料多副本這樣的高可用設計以及容災架構的設計是為了應對軟硬體故障、或者火災地震等意外發生時,整個應用系統可以正常運作或切換到另一處後系統功能可以繼續正常運作。 資料備份則是為了抵禦各類計畫外故障、資料誤刪、惡意攻擊等異常場景下的資料遺失。 僅有高可用容災設計,無法避免資料誤刪和惡意攻擊等意外,而僅有資料備份又無法在災難發生時快速恢復業務系統。 因此,備份和災難復原和備份有著明顯的區別,同時緊密結合、缺一不可,IT維運人員千萬不可有重容災輕備份的偏見思維。

資料備份理論範疇很廣,通常包含備份場景、備份策略、備份媒體、備份架構等多個維度。

一、傳統備份場景

首先我們整理匯總一下我們金融業長久以來需要備份的幾個主要場景,包括關係型資料庫備份、檔案備份、大數據平台備份、虛擬化環境備份等。

1.關係型資料庫備份

以DB2、ORACLE為代表的關係型資料庫的備份是所有資料備份場景裡面佔比最高的場景,經過幾十年的發展,這個場景的備份各行業各企業都已經做得很成熟了。

2.檔案備份

重要資料檔案的備份也是傳統備份裡面一個常見的場景,包括以檔案形式儲存的重要業務資料、系統設定檔、系統日誌等等。 文件備份的手段很多,當數量不大時用拷貝、打包等方式備份到第二儲存媒體了即可。 當海量檔案需要備份時,在備份和復原速度方面就會有很大挑戰。 這種場景下需要使用基於rsync指令的高並發備份工具去備份海量文件,當然也可以考慮用CDP技術對儲存文件的硬碟進行快照,需要恢復的時候直接掛載起來使用即可。

3.大數據平台備份

大數據平台裡面的資料有幾個特點,第一,資料量龐大;第二,資料結構類型複雜多樣,有結構化、非結構化、半結構化;第三,資料功能分多個層次,包括 基礎數據、初步架構數據、深度加工數據、分析結果數據等等;第四,數據來源很廣,有內部各應用下沉的基礎數據,有外部引入的基礎數據。 因此,很難有一個萬能的備份平台來完成大數據平台內所有資料的備份復原工作。

筆者認為對於大數據平台的資料備份,需要對資料進行分級分類設計。 例如:如果基礎資料是可以隨時從來源調用,而源頭又有完善的備份機制,那麼基礎資料是否就可以沒必要備份了。 而經過複雜加工後的資料則單獨切分出來進行備份。 保障接近應用上層的若干連續分級資料的備份即可。 在分級分類的時候,需要考慮到資料量級、資料再生條件、資料重要性、資料加工的複雜度和耗時等等因素,保留中間層可以為分析模型提供直接分析支援的資料即可。

4.虛擬化環境備份

虛擬化環境備份主要是VMware和雲端平台中虛機的備份,這塊可以依賴虛擬化平臺本身的備份功能,也可以藉助CDM/CDP等技術手段進行備份。 隨著雲端運算技術的不斷成熟,依賴雲端平台自身運維功能進行雲端主機、雲端硬碟的備份手段已經很成熟了。

二、信創趨勢下的備份考量

(一)重要備份場景

隨著國產化進程的推進,在新情勢新趨勢下有哪些備份場景需要我們用戶重點關注呢? 筆者認為有以下兩個場景最值得研究和關注。

1.分散式資料庫備份

近年來伴隨著基礎軟體國產化的快速推進,以DB2、ORACLE為首的外國商用集中式資料庫向國產分散式資料庫的改造正如火如荼地進行。 在這樣的形式下,國產分散式資料庫的備份場景已經是目前信創趨勢下的一大重點。

我們用戶需要專注於並研究國產分散式資料庫的備份技術和實作手段,這裡面需要注意的是國產備份軟體和國產分散式資料庫的兼容性和穩定性問題。 目前,愛數、鼎甲、雲端信達、壹進制等國產備份廠商已經紛紛和幾大國產分散式資料庫進行了適配。 但由於國產分散式資料庫本身的功能還在發展階段,缺陷較多,這對國產備份軟體在適配方面提出了非常高的要求。

另外,分散式資料庫本身架構和部署方式的差異也會為備份帶來不同的特點,例如單中心、多中心的不同部署方式對應的備份方式可能不一樣。 單分片、多分片架構備份的特性也不一樣。 對於多分片資料庫的備份,在多個資料分片合併復原的時候需要考慮資料庫的全域一致性。

2.容器備份

隨著雲端原生概念的不斷普及,越來越多的企業開始和研究和應用容器技術,部分大型銀行的核心系統已經使用容器。 因此,容器的備份應是目前以及未來備份場景中需要重點關注的一個面向。

大部分容器使用場景下,為了更便捷地進行容器任意調度、遷移,在設計上把容器盡可能做成無狀態服務,狀態保存在外部儲存池中。 在這種設計下,容器應用程式無需備份,只需要對外部儲存中的應用資料進行備份。

但在如今k8s容器時代,容器是一個動態變化的資源,例如正在運行在哪個node上、配置的參數、版本等等資訊都可能是變化的。 容器的資料備份已經不能把容器本身以及所應用的資料分開來了。 備份的時候,應該把應用的資源以及資料打包,一起備份到第二個儲存上去。

(二)備份策略制定

資料備份的策略,從大的維度要確定哪些資料需要備份、哪些資料需要全量備份、哪些資料可以增量備份,從細的維度要決定備份的頻率、視窗等各種必要因素。 制定備份策略的過程需要考慮到資料本身的量級、資料的具體類型、極端條件下對資料復原時間及資料遺失量的容忍程度、資料備份系統以及備份媒體本身的效能特性、業務發展的規模及 趨勢判斷等等。

(三)備份系統設計

在信創趨勢下,對於備份系統的設計主要包括備份媒體和備份軟體的選擇、備份系統整體架構的設計。

1.備份媒體的選擇

備份介質從是否需要加電的角度分為線上介質和離線介質兩類。 線上媒體主要是各類磁碟設備,包括伺服器本地硬碟、集中式區塊儲存、集中式NAS、分散式NAS、物件儲存等。 離線媒體主要是磁帶和藍光儲存。

依照《GB/T 20988—2007資訊安全技術資訊系統災難復原規範》中對於資料備份系統的要求--“ 備份媒體場外存放”,個人認為離線備份是有必要的。 現在部分使用者完全使用線上設備(例如大數據平台、物件儲存)用作備份資料的永久保留個人認為和監管要求有偏離。

傳統離線介質主要是磁帶,單盤容量大,保存週期長,金融業已經具有多年的成熟使用經驗,但目前仍依靠外國產品。 隨著國產化進程的推進,備份介質的國產化是不可避免的主題。 使用大容量光碟作為儲存媒體的藍光儲存目前成為替代方案之一,但其生態,即和各個備份場景的兼容性還有待完善和檢驗。

2.備份軟體的選擇

過去我們主要使用TSM、NBU、CV等國外廠商的備份軟體,這些備份軟體也和DB2、ORACLE等外國商用資料庫有著良好的相容性。 近年來伴隨著基礎軟體國產化的推進,DB2、ORACLE等外國商用資料庫向國產資料庫的改造推進速度極快,同時也湧現出一批有競爭力的國產備援軟體。 當然由於國產資料庫尤其是國產分散式資料庫以及國產作業系統版本更新速度很快,對國產備份軟體和它們兩者之間的兼容性的挑戰很大。 很多用戶也是在採用有代理還是無代理的備份方式之間徘徊。 個人認為可以優先考慮無代理備份方式,以減少由於資料庫伺服器本地作業系統或資料庫版本升級所帶來的麻煩。

3. 備份系統整體架構的設計

對於備份系統整體架構的設計就是將備份媒體、備份軟體、備份資料傳輸方式三者整體結合起來的過程。 備份媒體和備份軟體根據線上/離線、外國/國產、有無代理等維度考慮。 備份資料傳輸方式主要是萬兆乙太網路和SAN網路兩種。 在國產分散式資料庫、大數據平台等備份場景下,同時結合國產備份軟體,萬兆乙太網路已成為從資料來源端到備份媒體之間傳輸的主要網路載體。

對於備份系統整體架構的設計,這裡舉出兩種典型的架構設計。 第一種是系統整合方案,例如採用分散式NAS對於近期備份資料線上保存,採用藍光儲存作為長期歸檔保存,同時採用一個國產備份軟體用來定時將分散式資料庫資料先備份到分散式NAS,再 從分散式NAS將超過一定時間的備份結果轉儲到離線儲存進行永久保存。 第二種則是許多國產備援廠商所推崇的軟硬一體架構,例如華為的OceanProtect一體化備份方案、各國產備援廠商的備份一體機等等。 對於技術基礎紮實喜歡DIY的使用者可以選擇第一種,對於希望快速部署拿來即用的使用者則可以選擇第二種。

三、總結

資料備份是永恆的話題,做好資料備份是保障業務連續性的基石,也是企業的生命線。 隨著IT基礎設施和基礎軟體國產化進程的快速推進,我們需要及時探索新的更符合長期發展的備份方案,更新企業的整體備份架構,方能跟上時代步伐,與時俱進。

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

最近发表

Powered By Z-Blog 1.8 Arwen Build 81206