分佈式存儲有哪些?

General 更新 2025-01-10

當前主流分佈式文件系統有哪些?各有什麼優缺點

目前幾個主流的分佈式文件系統除GPFS外，還有PVFS、Lustre、PanFS、GoogleFS等。

1.PVFS(Parallel Virtual File System)項目是Clemson大學為了運行Linux集群而創建的一個開源項目,目前PVFS還存在以下不足：

1）單一管理節點:只有一個管理節點來管理元數據，當集群系統達到一定的規模之後，管理節點將可能出現過度繁忙的情況，這時管理節點將成為系統瓶頸;

2）對數據的存儲缺乏容錯機制:當某一I/O節點無法工作時，數據將出現不可用的情況;

3）靜態配置:對PVFS的配置只能在啟動前進行，一旦系統運行則不可再更改原先的配置。

2.Lustre文件系統是一個基於對象存儲的分佈式文件系統，此項目於1999年在Carnegie Mellon University啟動，Lustre也是一個開源項目。它只有兩個元數據管理節點,同PVFS類似,當系統達到一定的規模之後，管理節點會成為Lustre系統中的瓶頸。

3.PanFS(Panasas File System)是Panasas公司用於管理自己的集群存儲系統的分佈式文件系統。

4.GoogleFS(Google File System)是Google公司為了滿足公司內部的數據處理需要而設計的一套分佈式文件系統。

5.相對其它的文件系統，GPFS的主要優點有以下三點：

1)使用分佈式鎖管理和大數據塊策略支持更大規模的集群系統,文件系統的令牌管理器為塊、inode、屬性和目錄項建立細粒度的鎖，第一個獲得鎖的客戶將負責維護相應共享對象的一致性管理，這減少了元數據服務器的負擔;

2)擁有多個元數據服務器,元數據也是分佈式,使得元數據的管理不再是系統瓶頸;

3)令牌管理以字節作為鎖的最小單位,也就是說除非兩個請求訪問的是同一文件的同一字節數據,對於數據的訪問請求永遠不會衝突.

分佈式存儲是什麼？選擇什麼樣的分佈式存儲更好？

分佈式存儲系統，是將數據分散存儲在多臺獨立的設備上。傳統的網絡存儲系統採用集中的存儲服務器存放所有數據，存儲服務器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分佈式網絡存儲系統採用可擴展的系統結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

聯想超融合ThinkCloud AIO超融合雲一體機是聯想針對企業級用戶推出的核心產品。ThinkCloud AIO超融合雲一體機實現了對雲管理平臺、計算、網絡和存儲系統的無縫集成，構建了雲計算基礎設施即服務的一站式解決方案，為用戶提供了一個高度簡化的一站式基礎設施雲平臺。這不僅使得業務部署上線從周縮短到天，而且與企業應用軟件、中間件及數據庫軟件完全解耦，能夠有效提升企業IT基礎設施運維管理的效率和關鍵應用的性能

什麼是分佈式存儲系統？

就是將數據分散存儲在多臺獨立的設備上

什麼是分佈式數據存儲

定義：

分佈式數據庫是指利用高速計算機網絡將物理上分散的多個數據存儲單元連接起來組成一個邏輯上統一的數據庫。分佈式數據庫的基本思想是將原來集中式數據庫中的數據分散存儲到多個通過網絡連接的數據存儲節點上，以獲取更大的存儲容量和更高的併發訪問量。近年來，隨著數據量的高速增長，分佈式數據庫技術也得到了快速的發展，傳統的關係型數據庫開始從集中式模型向分佈式架構發展，基於關係型的分佈式數據庫在保留了傳統數據庫的數據模型和基本特徵下，從集中式存儲走向分佈式存儲，從集中式計算走向分佈式計算。

特點：

1.高可擴展性：分佈式數據庫必須具有高可擴展性，能夠動態地增添存儲節點以實現存儲容量的線性擴展。

2 高併發性：分佈式數據庫必須及時響應大規模用戶的讀/寫請求，能對海量數據進行隨機讀/寫。

3. 高可用性：分佈式數據庫必須提供容錯機制，能夠實現對數據的冗餘備份，保證數據和服務的高度可靠性。

分佈式文件系統有哪些主要的類別？

分佈式存儲在大數據、雲計算、虛擬化場景都有勇武之地，在大部分場景還至關重要。community.emc.com/message/655951 下面簡要介紹*nix平臺下分佈式文件系統的發展歷史：

1、單機文件系統

用於操作系統和應用程序的本地存儲。

2、網絡文件系統（簡稱：NAS）

基於現有以太網架構，實現不同服務器之間傳統文件系統數據共享。

3、集群文件系統

在共享存儲基礎上，通過集群鎖，實現不同服務器能夠共用一個傳統文件系統。

4、分佈式文件系統

在傳統文件系統上，通過額外模塊實現數據跨服務器分佈，並且自身集成raid保護功能，可以保證多臺服務器同時訪問、修改同一個文件系統。性能優越，擴展性很好，成本低廉。

分佈式文件系統和分佈式數據庫有什麼不同

分佈式文件系統（dfs）和分佈式數據庫都支持存入，取出和刪除。但是分佈式文件系統比較暴力，可以當做key/value的存取。分佈式數據庫涉及精煉的數據，傳統的分佈式關係型數據庫會定義數據元組的schema，存入取出刪除的粒度較小。

分佈式文件系統現在比較出名的有GFS（未開源），HDFS（Hadoop distributed file system）。分佈式數據庫現在出名的有Hbase，oceanbase。其中Hbase是基於HDFS，而oceanbase是自己內部實現的分佈式文件系統，在此也可以說分佈式數據庫以分佈式文件系統做基礎存儲。

分佈式存儲有哪些華為的fusionstorage屬於分佈式

您好，很高興能幫助您，首先，FusionDrive其實是一塊1TB或3TB機械硬盤跟一塊128GB三星830固態硬盤的組合。我們都知道，很多超極本同樣採用了混合型硬盤，但是固態硬盤部分的容量大都只有8GB到32GB之間，這個區間無法作為系統盤來使用，只能作

linux下常用的分佈式文件系統有哪些

這他媽不是騰訊今年的筆試題麼

NFS（www.tldp.org/HOWTO/NFS-HOWTO/index.html）

網絡文件系統是FreeBSD支持的文件系統中的一種，也被稱為NFS。

NFS允許一個系統在網絡上與它人共享目錄和文件。通過使用NFS，用戶和程序可以象訪問本地文件一樣訪問遠端系統上的文件。它的好處是：

1、本地工作站使用更少的磁盤空間，因為通常的數據可以存放在一臺機器上而且可以通過網絡訪問到。

2、用戶不必在每個網絡上機器裡面都有一個home目錄。home目錄可以被放在NFS服務器上並且在網絡上處處可用。

3、諸如軟驅、CDROM、和ZIP之類的存儲設備可以在網絡上面被別的機器使用。可以減少整個網絡上的可移動介質設備的數量。

開發語言c/c++,可跨平臺運行。

OpenAFS（www.openafs.org）

OpenAFS是一套開放源代碼的分佈式文件系統，允許系統之間通過局域網和廣域網來分享檔案和資源。OpenAFS是圍繞一組叫做cell的文件服務器組織的，每個服務器的標識通常是隱藏在文件系統中，從AFS客戶機登陸的用戶將分辨不出他們在那個服務器上運行，因為從用戶的角度上看，他們想在有識別的Unix文件系統語義的單個系統上運行。

文件系統內容通常都是跨cell複製，一便一個硬盤的失效不會損害OpenAFS客戶機上的運行。OpenAFS需要高達1GB的大容量客戶機緩存，以允許訪問經常使用的文件。它是一個十分安全的基於kerbero的系統，它使用訪問控制列表(ACL）以便可以進行細粒度的訪問，這不是基於通常的Linux和Unix安全模型。開發協議IBM Public，運行在linux下。

MooseFs（derf.homelinux.org）

Moose File System是一個具備容錯功能的網路分佈式文件統，它將數據分佈在網絡中的不同服務器上，MooseFs通過FUSE使之看起來就是一個Unix的文件系統。但有一點問題，它還是不能解決單點故障的問題。開發語言perl,可跨平臺操作。

pNFS（www.pnfs.com）

網絡文件系統(Network FileSystem,NFS)是大多數局域網(LAN）的重要的組成部分。但NFS不適用於高性能計算中苛刻的輸入書櫥密集型程序，至少以前是這樣。NFS標準的罪行修改納入了Parallel NFS(pNFS），它是文件共享的並行實現，將傳輸速率提高了幾個數量級。

開發語言c/c++,運行在linu下。

googleFs

據說是一個比較不錯的一個可擴展分佈式文件系統，用於大型的，分佈式的，對大量數據進行訪問的應用。它運行於廉價的普通硬件上，但可以提供容錯功能，它可以給大量的用戶提供性能較高的服務。google自己開發的。

分佈式存儲都有哪些，並闡述其基本實現原理

神州雲科 DCN NCS DFS2000（簡稱DFS2000）系列是面向大數據的存儲系統，採用分佈式架構，真正的分佈式、全對稱群集體系結構，將模塊化存儲節點與數據和存儲管理軟件相結合，跨節點的客戶端連接負載均衡，自動平衡容量和性能，優化集群資源，3-144節點無縫擴展，容量、性能歲節點增加而線性增長，在 60 秒鐘內添加一個節點以擴展性能和容量。

linux 分佈式系統都有哪些？

常見的分佈式文件系統有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自適用於不同的領域。它們都不是系統級的分佈式文件系統，而是應用級的分佈式文件存儲服務。

GFS（Google File System）

--------------------------------------

Google公司為了滿足本公司需求而開發的基於Linux的專有分佈式文件系統。。儘管Google公佈了該系統的一些技術細節，但Google並沒有將該系統的軟件部分作為開源軟件發佈。

下面分佈式文件系統都是類 GFS的產品。

HDFS

--------------------------------------

Hadoop 實現了一個分佈式文件系統（Hadoop Distributed File System），簡稱HDFS。 Hadoop是Apache Lucene創始人Doug Cutting開發的使用廣泛的文本搜索庫。它起源於Apache Nutch，後者是一個開源的網絡搜索引擎，本身也是Luene項目的一部分。Aapche Hadoop架構是MapReduce算法的一種開源應用，是Google開創其帝國的重要基石。

Ceph

---------------------------------------

是加州大學聖克魯茲分校的Sage weil攻讀博士時開發的分佈式文件系統。並使用Ceph完成了他的論文。

說 ceph 性能最高，C++編寫的代碼，支持Fuse，並且沒有單點故障依賴，於是下載安裝，由於 ceph 使用 btrfs 文件系統，而btrfs 文件系統需要 Linux 2.6.34 以上的內核才支持。

可是ceph太不成熟了，它基於的btrfs本身就不成熟，它的官方網站上也明確指出不要把ceph用在生產環境中。

Lustre

---------------------------------------