撇开eclipse的插件不说,如果直接在eclipse运行main方法,运行的时刻会提示map,reduce找不到的错误。其实就是没有把需要的类提供给集群环境。
看过使用hadoop-eclipse-plugin插件(http://winseclone.iteye.com/blog/1837035)最后解析的Run-on-Hadoop的实现,不难得出下面的方法。
首先打包jar,然后啊jar的路径给Main的-Dmapred.jar参数。这样,就可以把环境需要的class上传到hadoop了。
主要的ant代码如下:
<property name="exported.jar" value="${build.dir}/tmp-runonhadoop-${now}.jar"></property> <target name="jar" depends="build" description="Make tmp-run.jar"> <jar jarfile="${exported.jar}" basedir="${build.classes}"> <fileset dir="${build.classes}" includes="**/example/*" /> <exclude name="**/core-site.xml"/> </jar> </target> <target name="WordCount" depends="build, jar" > <java classname="com.winse.hadoop.examples.WordCount" failonerror="true" fork="yes"> <arg line="-fs=${fs.default.name} -jt=${mapred.job.tracker} -Dmapred.jar=${exported.jar} /test/input /test/output"/> <classpath refid="runon.classpath"/> </java> </target>
源码:
最后附有源码。
就build.xml重要,其他就是exmaples里面的wordcount的源码而已。
相关推荐
Hadoop 3.x(MapReduce)----【Hadoop 序列化】---- 代码 Hadoop 3.x(MapReduce)----【Hadoop 序列化】---- 代码 Hadoop 3.x(MapReduce)----【Hadoop 序列化】---- 代码 Hadoop 3.x(MapReduce)----【Hadoop ...
hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...
spark-3.2.1-bin-hadoop3.2-scala2.13.tgz
用来配置myeclipse或eclipse对应的hadoop 插件,方便开发
Spark安装包:spark-3.1.3-bin-without-hadoop.tgz
hadoop-eclipse2.5.2、hadoop-eclipse2.6.0、hadoop-eclipse2.6.5
本资源是spark-2.0.0-bin-hadoop2.6.tgz百度网盘资源下载,本资源是spark-2.0.0-bin-hadoop2.6.tgz百度网盘资源下载
Apache Spark版本3.1.3。Linux安装包。spark-3.1.3-bin-hadoop3.2.tgz
flink-1.0.3-bin-hadoop27-scala_2flink-1.0.3-bin-hadoop27-scala_2
spark-3.2.0-bin-hadoop3.2.tgz
spark-3.0.0-bin-hadoop3.2下载安装包
spark-3.0.0-bin-hadoop2.7.tgz 官网下载不了的,需要资源的,可以到这里下载哦
spark-2.4.0-bin-hadoop2.7
pyspark本地的环境配置包,spark-2.3.4-bin-hadoop2.7.tgz:spark-2.3.4-bin-hadoop2.7.tgz
linux的spark新版本,匹配hadoop2.7版本,spark-3.2.1-bin-hadoop2.7.tgz
spark-assembly-1.5.2-hadoop2.6.0 在spark编程中使用的一个jar
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
flink-shaded-hadoop-3下载
spark-2.3.0-bin-hadoop2.7版本.zip