資料儲存技術論文
隨著計算機網路技術在人們的日常生活中的廣泛應用,計算機資料儲存技術已經引起了國內外學者的廣泛關注。下面是小編為大家精心推薦的,希望能夠對您有所幫助。
篇一
大資料時代的雲端儲存技術
【摘要】本文首先介紹了大資料時代介紹及雲端儲存概念,其次探討了雲端儲存分類及優勢,最後探究了雲端儲存的結構模型及兩大框架,並且提出了雲端儲存發展需要注意的問題。
【關鍵詞】大資料;時代;雲端儲存;技術
中圖分類號:TP334.5文獻標識碼: A 文章編號:
一、前言
隨著我國資訊科技領域的不斷髮展,我國的網路行業的發展迅速,並且取得了相應的成就。雲端儲存技術的發展,使大資料的儲存成為可能,使人們的生活更加便捷,各行業得到更好的發展,我們應該更多地瞭解雲端儲存,使雲端儲存為人類做貢獻。
二、大資料時代介紹及雲端儲存概念
1、大資料時代介紹
大資料到底有多大?一組名為/網際網路上一天的資料告訴我們,一天之中,網際網路產生的全部內容可以刻滿1.65億張DVD;發出的郵件有2940億封之多***相當於美國兩年的紙質信件數量***;發出的社群帖子達200萬個***相當於5時代6雜誌770年的文字量***;賣的手機為37.8萬臺,高於全球每天出生的嬰兒數量37.1萬。
2、雲端儲存概念
雲端儲存是在雲端計算概念上延伸出來的一個新概念,它是指通過叢集應用、網格技術或分散式檔案系統或類似網格計算等功能聯合起來協同工作,並通過一定的應用軟體或應用介面,對使用者提供一定型別的儲存服務和訪問服務。讓雲端儲存成為企業私有云,使得企業能夠將資源切換到需要的應用上,根據需求訪問備份的資料。它將備份伺服器,備份軟體、儲存裝置集合在一起,形成雲端儲存。
三、雲端儲存分類及優勢
1、雲端儲存分類
按照服務物件可以把雲端儲存分類如下:
***1*** 公共雲端儲存。公共雲端儲存可以以低成本提供大量的檔案儲存。供應商可以保持每個客戶的儲存、應用都是獨立的、私有的,公共雲端儲存可以劃出一部分來用作私有云儲存。
***2*** 私有云儲存。通過私有云儲存,一個公司可以擁有或控制基礎架構,以及應用的部署。私有云儲存可以部署在企業資料中心或相同地點的設施上。私有云可以由公司自己的 IT 部門管理,也可以由服務供應商管理。相比傳統儲存模式,雲端儲存的租購模式顯得更加靈活方便,其實,企業自己構建一個數據中心需要購買硬體等必備設施及複雜多變的維護管理。
***3*** 混合雲端儲存。這種雲端儲存把公共雲和私有云結合在一起。主要用於按客戶要求的訪問,特別是需要臨時配置容量的時候。
2、雲端儲存的優勢
儲存容量大、成本低 :根據使用者崗位和需求合理分配空間,使用者不用擔心空間不足。同時大大減少移動儲存裝置的使用,降低了企業成本。
***1***易擴充套件 :根據伺服器使用人數和空間擴充套件儲存空間,不影響前端使用者的使用。
***2***可靠安全 :資料同步有效避免了介質儲存資料造成丟失損壞的問題。同時對伺服器採用磁碟陣列和磁帶離線備份方式,保障了雲端儲存的安全。
***3***高效便捷 :企業內部構建的私有云儲存,高速區域網提高了訪問速度。提高資源利用率 :將資料集中起來,使用者可以在任何地點,依靠單機或移動裝置隨時訪問資料。實現網內資源共享和協同工作,減少了傳統的***,提高資源利用率。
四、雲端儲存的結構模型及兩大框架
1、雲端儲存的結構模型
雲端儲存系統的結構模型由 4 層組成。
***1***儲存層
儲存層是雲端儲存最基礎的部分。儲存裝置可以是FC光纖通道儲存裝置,可以是NAS和iSCSI等IP儲存裝置,也可以是SCSI或SAS等DAS儲存裝置。雲端儲存中的儲存裝置往往數量龐大且分佈多不同地域,彼此之間通過廣域網、網際網路或者 FC 光纖通道網路連線在一起。
***2***基礎管理層
基礎管理層是雲端儲存最核心的部分,也是雲端儲存中最難以實現的部分。基礎管理層通過叢集、分散式檔案系統和網格計算等技術,實現雲端儲存中多個儲存裝置之間的協同工作,使多個的儲存裝置可以對外提供同一種服務,並提供更大更強更好的資料訪問效能。
***3***應用介面層
應用介面層是雲端儲存最靈活多變的部分。不同的雲端儲存運營單位可以根據實際業務型別,開發不同的應用服務介面。
***4***訪問層
任何一個授權使用者都可以通過標準的公用應用介面來登入雲端儲存系統,享受雲端儲存服務。雲端儲存運營單位不同,雲端儲存提供的訪問型別和訪問手段也不同。
2、雲端儲存技術的兩大架構
傳統的系統利用緊耦合對稱架構,這種架構的設計旨在解決 HPC*** 高效能運算、超級運算 *** 問題,現在其正在向外擴充套件成為雲端儲存從而滿足快速呈現的市場需求。下一代架構已經採用了鬆弛耦合非對稱架構,集中元資料和控制操作,這種架構並不非常適合高效能 HPC,但是這種設計旨在解決雲部署的大容量儲存需求。各種架構的摘要資訊如下:
***1***緊耦合對稱 ***TCS*** 架構。
構建 TCS 系統是為了解決單一檔案效能所面臨的挑戰,這種挑戰限制了傳統 NAS 系統的發展。 HPC 系統所具有的優勢迅速壓倒了儲存,因為它們需要的單一檔案 I/O 操作要比單一裝置的 I/O 操作多得多。業內對此的迴應是建立利用TCS 架構的產品,很多節點同時伴隨著分散式鎖管理 *** 鎖定檔案不同部分的寫操作 *** 和快取一致性功能。這種解決方案
對於單檔案吞吐量問題很有效,幾個不同行業的很多 HPC 客戶 已經採用了這種解決方案。這種解決方案很先進,需要一定程度的技術經驗才能安裝和使用。
***2***鬆弛耦合非對稱 ***LCA*** 架構。
LCA 系統採用不同的方法來向外擴充套件。它不是通過執行某個策略來使每個節點知道每個行動所執行的操作,而是利用一個數據路徑之外的中央元資料控制伺服器。集中控制提供了很多好處,允許進行新層次的擴充套件:
①儲存節點可以將重點放在提供讀寫服務的要求上,而不需要來自網路節點的確認資訊。
②節點可以利用不同的商品硬體 CPU 和儲存配置,而且仍然在雲端儲存中發揮作用。
③使用者可以通過利用硬體效能或虛擬化例項來調整雲端儲存。
④消除節點之間共享的大量狀態開銷也可以消除使用者計算機互聯的需要,如光纖通道,從而進一步降低成本。
⑤異構硬體的混合和匹配使使用者能夠在需要的時候在當前經濟規模的基礎上擴大儲存,同時還能提供永久的資料可用性。
⑥擁有集中元資料意味著,儲存節點可以旋轉地進行深層次應用程式歸檔,而且在控制節點上,元資料經常都是可用的。
五、雲端儲存發展需要考慮的主要問題
由於雲端儲存具有傳統資料儲存模式不具備的諸多優勢,越來越多的中小企業正在將自己的資料中心逐漸轉移至雲端。而大型企業除了租用公共雲端儲存服務以外,也開始著手建立自己的私有云儲存資料中心。但是,雲端儲存仍處於快速發展階段,雲端儲存要想得到廣泛應用,還有待進一步完善和改進。
1、安全問題。資料儲存在雲端計算中心,安全問題始終是使用者最為關注的問題。使用者的敏感資訊和個人隱私資料如何才能保證其具有安全性和私密性,雲端儲存服務提供商應根據分散式檔案中可能存在的安全威脅和安全需求,來制定相應的安全策略,以便在計算機中實施相應的保護機制,確保使用者資料避免丟失或被竊。
2、可靠性問題。可靠性是資料儲存系統最基本也是最關鍵的一項指標。資料的備份複製是雲端儲存管理中心必須考慮的問題,而且資料的備份複製可以大大提高雲儲存系統的可靠性和效能,同時能夠增強系統的容錯能力。如果雲端儲存資料遭到破壞,雲端儲存服務提供商應該能夠快速全面地恢復資料,確保使用者資料的完整性。
六、結束語
隨著資訊時代的到來,我國的網際網路絡發展迅速,在網路上的資料是相當巨大的。雲端儲存的發展,使得我們能夠儲存更多的資料,以方便我們日後快捷的使用,雲端儲存不僅僅是儲存,更多的是應用,是雲端計算時代的一場儲存革命。相信未來的雲端儲存技術會得到更好的發展。
參考文獻
[1]劉貝,湯斌.雲端儲存原理及發展趨勢[J].科技資訊,2011***05***.
[2]朱光磊.雲端儲存技術的發展應用趨勢探析[J].電腦知識與技術,2011.
[3]宋凱,耿義.雲端儲存技術[J].科技天地,2002.
[4]高東昇.大資料時代的雲端儲存技術[J].技術應用,2008.
點選下頁還有更多>>>
資料採集技術論文