【摘要】儲存管理平台和雲端平台往往是獨立運作的系統，它們之間的整合和資料交換需要額外的開發和配置。 然而，這種獨立運作的模式存在一些挑戰，例如資料同步的延遲、操作複雜性和資源利用率低。 本文將透過一系列具體的企業場景，展示在把儲存管理平台和雲端平台整合後，如何因地制宜地應用開源技術，賦能儲存的部署、交付與管理，以及由此獲得的具體效益和經驗教訓。 為同行提供有關儲存管理平台和雲端平台整合的經驗。
【作者】梁家旋 平安科技 儲存產品研發經理
1、概述
在開源技術的大浪潮中，越來越多的集團企業開始在儲存領域應用越來越多的開源軟體/工具，來為儲存資源部署和交付增效與提速。 同時，隨著雲端運算和容器化技術的快速發展，企業越來越傾向於將應用程式和資料儲存遷移到雲端平台。 雲端平台提供了靈活性、可擴展性和成本效益等優勢，使企業能夠更好地應對業務需求的變化。 然而，隨著資料量的成長和多雲環境的出現，有效部署和交付儲存資源變得複雜且具有挑戰性。
在此種背景下，儲存管理平台的出現為企業帶來了便利和效益。 在過去，儲存管理平台和雲端平台往往是獨立運作的系統，它們之間的整合和資料交換需要額外的開發和配置。 然而，這種獨立運作的模式存在一些挑戰，例如資料同步的延遲、操作複雜性和資源利用率低。 為了克服這些挑戰，並實現儲存管理平台和雲端平台之間的無縫集成，某集團用戶致力於借助開源技術，建立儲存管理平台與雲端集成的解決方案。 該解決方案旨在提供一種高效、可靠的機制，將儲存管理平台和雲端平台緊密結合，實現資料的即時同步和共享，為雲端上雲下提供統一的介面和功能，以簡化儲存資源的管理 和操作。 透過儲存管理平台和雲端平台的集成，企業可以更好地實現儲存資源的自動化管理、部署與交付。
該集團用戶的整合解決方案，應用了主流的開源技術和標準，經過了廣泛的測試和穩定運行驗證。 它可以納管各類存儲，和雲端平台無縫集成，適用於不同規模和行業的企業。 本文將透過一系列具體的企業場景，展示該集團用戶在把儲存管理平台和雲端平台整合後，如何因地制宜地應用開源技術，賦能儲存的部署、交付與管理，以及由此獲得的具體效益和 經驗教訓。 這將為其他企業提供有關儲存管理平台和雲端平台整合的寶貴經驗，並幫助它們更好地管理和操作儲存資源，提高業務的效工率和可靠性。
2、應用場景
在儲存管理平台和雲端平台整合後，企業可以透過各類開源技術，協助儲存資源的部署和交付，以下是一些典型場景：
2.1 儲存資源的自動化創建
透過儲存管理平台與雲端平台的集成，企業可以實現儲存資源的自動化創建。 雲端租用戶可以透過雲端入口網站的雲端儲存產品介面購買指定配置的磁碟，而儲存管理員可以透過儲存管理平台的介面發起儲存資源的建立請求，指定所需的儲存資源配置和數量，無論是上述哪一 種交付形式，儲存管理平台都將自動與雲端平台進行交互，並透過儲存管理平台提供的統一API 來建立儲存資源。
開源技術關鍵字：Java 微服務、 SpringCloud 、 Python
2.2 儲存資源的監控與調優 .
透過 Argus 、 Prometheus 等開源工具提供的資料收集與事件監控功能，一旦儲存資源交付給應用程式或業務單元使用，儲存管理平台可以提供即時的儲存資源監控和調優功能。 儲存管理員可以透過儲存管理平台的介面或 API 來監視儲存資源的效能指標、容量使用情況和健康狀態。 在需要時，儲存管理員可以根據監控資料進行儲存資源的調優和最佳化，以提高效能、增加容量或改善資料保護。
開源技術關鍵字：Argus 、 Prometheus.
2.3 儲存資源的快照和克隆管理
透過 ceph 分散式儲存等開源儲存提供的快照與複製功能，儲存管理平台可以提供儲存資源的快照和複製管理功能。 儲存管理員可以透過儲存管理平台的介面或 API 建立儲存資源的快照 ( 即儲存資源的 point-in-time 副本 ) 或進行儲存資源的複製 ( 即基於現有儲存資源建立新的副本 ) 。 這使得儲存管理員可以方便地進行資料備份、復原和測試等操作，而無需影響實際的生產資料。
開源技術關鍵字：ceph 分散式儲存、快照、克隆
2.4 儲存遷移和規格升級
透過 LVM 、 rsync 等開源工具，透過儲存管理平台和雲端平台的集成，企業可以輕鬆地進行儲存資源的遷移和升級。 儲存管理員可以使用儲存管理平台的介面或 API 來執行儲存資源的遷移操作，將資料從一個儲存資源轉移到另一個儲存資源，而無需中斷應用程式的正常運作。 此外，儲存管理平台還提供了儲存資源的規格升級功能，雲端租用戶或儲存管理員均可輕鬆地將儲存資源從低效能或低容量配置升級到高效能或高容量配置。
開源技術關鍵字：LVM 、 rsync
2.5 儲存資源的效能收集、展示與最佳化 .
儲存管理平台可藉助 Argus 、 Prometheus 、 Grafana 等開源工具，提供儲存資源的效能擷取、展示與最佳化功能。 儲存管理員可以透過儲存管理平台的介面或 API 來監控儲存資源的效能指標，如 IOPS( 每秒輸入 / 輸出運算元 ) 和延遲。 在需要時，儲存管理員可以根據監控資料進行儲存資源的調優，例如調整儲存磁碟區的容量、變更儲存類型或進行資料分佈最佳化，以提高儲存效能和回應時間。
開源技術關鍵字：Argus 、 Prometheus 、 Grafana
2.6 儲存資源的容量規劃與成本控制 .
儲存管理平台可以提供儲存資源的容量規劃和成本控制功能，幫助企業合理地規劃和最佳化儲存資源的使用。 儲存管理員可以透過儲存管理平台的介面或 API 來監控儲存資源的容量使用情況，預測未來的容量需求，並根據業務需求進行彈性擴展或縮減。 此外，儲存管理平台還可以提供儲存資源的成本分析和最佳化建議，幫助企業控制儲存成本並提高資源利用率。
開源技術關鍵字：Argus 、 Prometheus.
2.7 多區域和多副本部署
基於ceph 等開源分散式儲存自帶的多副本特性，透過儲存管理平台與雲端平台集成，企業可以在多個區域或地理位置部署儲存資源，並創建多個副本以提高資料的可用性和容災能力 。 儲存管理平台可以提供集中管理和配置多區域儲存資源的功能，儲存管理員可以透過儲存管理平台的介面或 API 來管理不同區域的儲存資源，並確保資料的複製和同步。
開源技術關鍵字：ceph 分散式存儲，多副本
2.8 資料備份與恢復
透過 ceph 等開源分散式儲存自帶的快照、複製與多重副本等特性，儲存管理平台可提供資料備份和復原功能，幫助企業保護資料免受意外刪除、硬體故障或災難事件的影響。 雲端租用戶和儲存管理員可以分別使用雲端入口網站的介面和儲存管理平台的介面建立定期的資料備份，並在需要時快速還原資料。 這確保了資料的持久性和可靠性，同時簡化了備份和復原流程。
開源技術關鍵字：ceph 分散式存儲，快照、克隆、多副本
2.9 儲存資源的監控和警報
借助 Argus 和 Prometheus 等開源工具，儲存管理平台可以提供儲存資源的即時監控和警報功能，使儲存管理員能夠及時檢測和回應儲存問題。 儲存管理員可以透過儲存管理平台的介面或 API 監控儲存資源的效能、容量和健康狀態，並設定警報規則以便在出現異常情況時接收通知。 這有助於儲存管理員快速識別和解決儲存問題，減少潛在的停機時間和資料遺失風險。
開源技術關鍵字：Argus 、 Prometheus
2.10 儲存資源的自動化生命週期管理
借助 xxl-job 、 Quartz 、 elastic-job 等開源工具，儲存管理平台可以提供儲存資源的自動化生命週期管理功能，以便根據資料的價值和使用情況自動調整儲存策略和資源配置。 儲存管理員可以透過儲存管理平台的介面定義生命週期規則，例如資料保留期限、資料歸檔和資料銷毀策略。 儲存管理平台可以根據這些規則自動管理儲存資源的遷移、歸檔和刪除，減少手動操作的工作量和風險。
開源技術關鍵字：xxl-job 、 Quartz 、 elastic-job
3、獲益
透過儲存管理平台和雲端平台的集成，同時因地制地應用各類開源技術，可獲得以下收益：
1）彈性擴展和按需儲存：透過儲存管理平台與雲端平台集成，企業可以實現儲存資源的彈性擴展和按需儲存。 雲端平台通常提供彈性的儲存服務，可以根據需求自動擴展儲存容量，避免了傳統儲存系統中的容量規劃和資源浪費問題。 儲存管理平台可與雲端平台的彈性擴充功能集成，根據實際需求動態調整儲存資源，確保按需提供足夠的儲存容量。
2）多地域和全球覆蓋：雲端平台通常具有多個地理位置的資料中心，可實現儲存資源的多地域和全球覆蓋範圍。 透過儲存管理平台與雲端平台集成，企業可以輕鬆地在不同地理位置部署和管理儲存資源，滿足不同地區業務的需求。 這有助於提高數據存取的速度和可靠性，並支援企業的全球擴張和業務拓展。
3）儲存資源的自動化管理：儲存管理平台與雲端平台整合後，可以實現儲存資源的自動化管理。 儲存管理平台可以提供自動化的儲存資源配置、部署和管理功能，減少手動操作的工作量和錯誤風險。 儲存管理員可以透過儲存管理平台的介面或 API 定義自動化任務和工作流程，例如儲存資源的自動備份、快照管理和容量調整等。 這有助於提高儲存資源管理的效率和準確性。
4）儲存資源的效能最佳化：透過儲存管理平台與雲端平台集成，企業可以實現儲存資源的效能最佳化。 儲存管理平台可以提供效能監控和調優功能，幫助儲存管理員識別儲存效能瓶頸和最佳化機會。 儲存管理員可以透過儲存管理平台的介面或API 監測儲存資源的效能指標，例如回應時間、頻寬利用率和IOPS( 每秒輸入/ 輸出作業數) ，並採取相應的最佳化措施，以提高儲存效能和 使用者體驗。
5）儲存資源的自助服務：透過儲存管理平台與雲端平台集成，企業可以提供儲存資源的自助服務。 儲存管理平台可以提供自助服務入口網站或 API, 使用戶能夠自主管理和使用儲存資源。 使用者可以透過自助服務入口網站進行儲存容量申請、資料備份和復原等操作，減少對儲存管理員的依賴和等待時間。 這提供了更靈活和高效的儲存資源使用方式，滿足用戶的即時需求。
6）即時資料同步：透過儲存管理平台與雲端平台集成，可確保儲存管理平台和雲端平台之間的資料即時同步，保持資料的一致性和完整性。 這為企業提供了準確、可靠的數據基礎，支援即時決策和業務分析。
4.開源軟體的選配和合規使用
儘管開源軟體為企業帶來了許多受益，但限於其本身的生命週期和特點，需要係統架構師和應用架構師提前考慮，以達到開源軟體的穩定安全和合規使用，以下是一些關鍵要點：
1）版本選擇：了解並評估開源軟體每個版本的功能、穩定性、安全性和社群支援等方面，並確保與您的系統和其他軟體元件相容。
2）生命週期管理：了解開源軟體的生命週期，並專注於每個版本的支援期限和終止支援（ EOL ）策略。 確保及時升級到受支援的版本，並制定相應的升級計劃，以避免使用已終止支援的版本所帶來的安全和相容性風險。
3）社群支援和活躍度：選擇具有活躍社群支援和穩定維護的開源軟體，以確保在遇到問題時能夠獲得及時的支援和解決方案。
4）合規性考量：了解所選軟體的許可證類型和限制，並確保在使用、修改和分發軟體時遵守許可證的規定。
5）安全審查和測試：進行安全審查和測試，以識別和評估開源軟體可能存在的安全風險。 包括靜態程式碼分析、漏洞掃描和安全評估等方法，以確保開源軟體在運行時不會引入潛在的安全漏洞。
6）文件和教學：考慮開源軟體的文檔和教程的品質和可用性。 好的文件可以幫助您更好地了解和使用開源軟體，減少學習曲線並提高生產效率。
7）第三方依賴管理：開源軟體通常依賴其他開源程式庫和元件。 在選擇和使用開源軟體時，請注意其依賴關係，並確保管理和更新這些依賴項，以避免安全漏洞和相容性問題。
透過遵循上述要點，來最大限度地確保在選擇和使用開源軟體時，系統的運維過程平穩運行，減少網路安全風險，並最大程度地獲得開源軟體所帶來的各種益處。 開源軟體的選用和合規使用是一個綜合性的過程，取決於企業用戶的特定需求、系統環境和風險承受能力。 建議在做出決策之前，先對所選開源軟體進行充分的研究和評估，並在需要時尋求專業意見和諮詢。
