当前位置:首页--Hadoop

java基本类型与Hadoop常见基本类型的对照

 Long LongWritable Integer IntWritable Boolean BooleanWritable String Text 1.java类型转化为hadoop基本类型   调用hadoop类型的构造方法,或者调用set()方法。   new LongWritable(123L); 2.hadoop基本类型转化为java类型?   对于Text,需要调用toString()方......

阅读全文

转:hadoop启动问题(Unrecognized option: -jvm Could not create the Java virtual machine.)

 今天主要的收获是在本机把hadoop跑起来了, 其实吧,这不是什么复杂的事,按照官网上的教程的指示,一步一步做就行。 之前觉得hadoop是个很复杂的东西,所以在网上到处搜,看了不少资料,等真的去用的时候,还是挺简单的,但是“细节是魔鬼”,弄清楚细节才是真功夫!只是会用,没什么了不起的。 官网:http://www.hadoop.com 从这里开始:http://hadoop.apache.org......

阅读全文

hadoop-mongo map/reduce java

 官方 http://docs.mongodb.org/ecosystem/tutorial/getting-started-with-hadoop/ mongo-haoop项目地址 https://github.com/mongodb/mongo-hadoop 该代码托管 https://github.com/cclient/mongo_hadoop_map-reduce   原分析 由nodej......

阅读全文

Java之使用Hadoop探索大数据的世界

   什么是大数据   PB = 1024tb   7123913827189tb   Reids   无共享   HDFS   优点 :特别适合存储大型文件   TFS   hdfs 架构   NameNode: 整个hadoop总管,只有一个,DataNode down了   存储为镜像文件fsimage 和edites   secondary 定期合并日志文件及镜像文件   DataNode ......

阅读全文

hadoop之php-java-bridge使用小结

 环境:Ubuntu 9.10 hadoop 0.20.2 apache2+PHP5 1.安装Apache。具体安装命令如下所示:     $ sudo apt-get install apache2     然后运行Apache,命令如下所示:     $ sudo /etc/init.d/apache2 restart         Apache在安装期间将会新建一个目录:/var/www,该......

阅读全文

java写hadoop全局排序

 前言: 一直不会用java,都是streaming的方式用C或者python写mapper或者reducer的可执行程序。但是有些情况,如全排序等等用streaming的方式往往不好处理,于是乎用原生语言来写map-reduce; 开发环境eclipse,windows,把hadoop相关的jar附加到程序中,打包后放回linux虚机执行; 输入数据  1 haha    10   2 haha ......

阅读全文

hadoop中Text类 与 java中String类的区别

 hadoop 中 的Text类与java中的String类感觉上用法是相似的,但两者在编码格式和访问方式上还是有些差别的,要说明这个问题,首先得了解几个概念; 字符集: 是一个系统支持的所有抽象字符的集合。字符是各种文字和符号的总称,包括各国家文字、标点符号、图形符号、数字等。例如 unicode就是一个字符集,它的目标是涵盖世界上所有国家的文字和符号; 字符编码:是一套法则,使用该法则能够对自然......

阅读全文

hadoop MR 任务 报错 "Error: java.io.IOException: Premature EOF from inputStream at org.apache.hadoop.io"

 错误原文分析 文件操作超租期,实际上就是data stream操作过程中文件被删掉了。一般是由于Mapred多个task操作同一个文件。一个task完毕后删掉文件导致。 这个错误跟dfs.datanode.max.transfer.threads參数到达上限有关。这个是datanode同一时候处理请求的任务上限,总默认值是 4096,该參数取值范围[1 to 8192] hadoop docs h......

阅读全文
1 2 3 4 下一页 尾页