搜索技术入门到精通

Sunday, March 11, 2007

第三章 3.2 文件共享入门简介 Introduction of File Sharing System

1) Remote sync (rsync) 是一种简单的文件共享实现方式。集群中的每个节点都至少有一份数据复本,复本间使用rsync进行同步。因为节点需要的数据就在本地,所以这种方法具有很高的可用性,不会出现单点失效现象。适合的场景:数据量很小,而且更新不频繁,可以采用这种方式。索引文件可以使用用这样的方式。
2) Network File System (NFS) 本身只是网络文件共享的标准,使用RPC进行通信。存储节点通过NFS将自己本地的文件输出,其他节点则把存储节点输出的文件系统装载到本地文件系统。NFS方式的存在两个很大的缺点:性能差:因为所有的文件访问都必须经过网络和NFS服务器,所以在访问流量比较大的情况下,网络带宽和NFS服务器都会成为系统的瓶颈。 单点失效:如果NFS服务器的系统失效或者网络失效都会使得其他节点无法得到数据.
3) Global File System(GFS)包含服务端和客户端的通信协议的实时文件系统,用锁机制实现共享数据更新控制,可以将物理上分离的存储设备虚拟为一个存储而且能平衡访问负载。
4) Intermezzo 属于较新的文件系统,吸收原有的文件系统的设计理念加入了很多智能的处理技术,比如日志更新,数据自动备份,镜像整合等。
最后登场的是这个时代的集大成者Lustre 本人对它的理解仅限于它提供的文档。

No comments: