当前位置:首页--MapReduce

思数云hadoop目录

 全文检索、数据分析挖掘、推荐系统、广告系统、图像识别、海量存储、快速查询   l Hadoop介绍 n Hadoop来源与历史 n Hadoop版本 n Hadoop开源与商业 l HDFS系统架构 n NameNode功能与原理 n DataNode功能与原理 n SecondaryNameNode功能与原理 n HDFS读取写入流程 n 理解HDFS Block l Hadoop权限与安全 l......

阅读全文

MapReduce整体架构分析

            继前段时间分析Redis源代码一段时间之后。我即将開始接下来的一段技术学习的征程。研究的技术就是当前很火热的Hadoop,可是一个Hadoop生态圈是很庞大的。所以首先我的打算是挑选当中的一部分模块,去学习,研究,我就选中了MapReduce。MapReduce最早是由Google公司在04年公布的论文中提出的一种思想,后来被人实现出来。才有了后面的Hadoop的诞生。学习M......

阅读全文

Hadoop Mapreduce 参数 (一)

 参考 hadoop权威指南 第六章,6.4节 背景 hadoop,mapreduce就如MVC,spring一样现在已经是烂大街了,虽然用过,但是说看过源码么,没有,调过参数么?调过,调到刚好能跑起来。现在有时间看看hadoop权威指南,感觉真是走了许多弯路。 MR流程 参数 共同影响 io.sort.factor 多路合并允许的最大输入路数。设成较大的值可以减少合并轮数,从而减少磁盘读写次数。 ......

阅读全文

初识Hadoop

 古代,人们用牛来拉重物。当一头牛拉不动一根圆木时,他们不曾想过培育 更大更壮的牛。同样,我们也不需要尝试开发超级计算机,而应试着结合使用更多计算机系统。   什么是Hadoop: Hadoop提供了一个可靠的共享存储和分析系统。包括两大核心功能,存储层:HDFS一个分布式文件系统,处理层:MapReduce一个分布式并行计算框架。 Hadoop适合进行巨大的离线批处理数据,不适合实时任务   为什......

阅读全文

Hadoop系列之(一):Hadoop单机部署

 1. Hadoop介绍 Hadoop是一个能够对海量数据进行分布式处理的系统架构。 Hadoop框架的核心是:HDFS和MapReduce。   HDFS分布式文件系统为海量的数据提供了存储,   MapReduce分布式处理框架为海量的数据提供了计算。   2. Hadoop安装 2.1 安装java Hadoop是使用JAVA写的,所以需要先安装JAVA环境。 本次安装的是hadoop-2.7......

阅读全文

最详细的《MapReduce框架详解》

 开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关,我开始学习某一套技术总是想着这套技术到底能干什么,只有当我真正理解了这套技术解决了什么问题时候,我后续的学习就能逐步的加快,而学习hdfs时候我就发现,要理解hadoop框架......

阅读全文

SequenceFileInputFormat区别TextInputFormat

 通过InputFormat,Hadoop可以: l           检查MapReduce输入数据的正确性; l           将输入数据切分为逻辑块InputSplit,这些块会分配给Mapper; l           提供一个RecordReader实现,Mapper用该实现从InputSplit中读取输入的对。 通过FileInputFormat。下面几个参数可以......

阅读全文
1 2 3 4 下一页 尾页