Hadoop分布式文件系统(HDFS)的缺陷与弱点
尽管HDFS已经有十分广泛的应用市场,但受限于其最初的设计理念,也由于它毕竟只是一个文件系统,不可避免地存在一些不足之处。
(1)不适合实时性很强的数据访问。由于数据的存储是分布式的,当数据操作涉及多个不同的数据节点时,需要从多个数据节点获取数据,传回结果后还需要进行合并,因此数据操作效率不高。
(2)无法高效存储大量的小文件。如果存在太多的琐碎小文件,命名节点必须记录每个小文件的管理信息,这就意味着有庞大的元数据需要处理,因此命名节点的管理效率不高。
(3)单命名节点形成“单点瓶颈”。单个命名空间限制了文件、数据块的个数;单个命名节点的吞吐量往往决定了整个文件系统的吞吐量;单个命名空间无法对不同应用程序实现隔离;命名节点故障会造成整个集群不可用。
(4)用惯了数据库的技术人员不适应HDFS这样的文件系统的较为原始的操作。