【大数据知识】大数据Hadoop快速入门教程

中国企业数据治理联盟（www.chinaedg.com/）

进入》主数据管理        企业数据治理          信息资源规划        数据安全管理

1、Hadoop生态概况

Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点Hadoop的核心是YARN,HDFS,Mapreduce,常用模块架构如下

2、HDFS

源自谷歌的GFS论文，发表于2013年10月，HDFS是GFS的克隆版，HDFS是Hadoop体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障HDFS简化了文件一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序，它提供了一次写入多次读取的机制，数据以块的形式，同时分布在集群不同物理机器

3、Mapreduce

源自于谷歌的MapReduce论文，用以进行大数据量的计算，它屏蔽了分布式计算框架细节，将计算抽象成map和reduce两部分

4、HBASE（分布式列存数据库）

源自谷歌的Bigtable论文，是一个建立在HDFS之上，面向列的针对结构化的数据可伸缩，高可靠，高性能分布式和面向列的动态模式数据库

5、zookeeper

解决分布式环境下数据管理问题，统一命名，状态同步，集群管理，配置同步等.

编辑: 西奥马尔编辑