hadoop程序实例，从新建到上传Hadoop集群跑成功

1. 新建maven项目
2. 写入pom.xml文件

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<groupId>cn.xuegod.mapreduce</groupId>
	<artifactId>Hadoop-7</artifactId>
	<version>0.0.1-SNAPSHOT</version>


	<dependencies>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId>
			<version>3.1.1</version>
		</dependency>

		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-hdfs</artifactId>
			<version>3.1.1</version>
		</dependency>

		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-client</artifactId>
			<version>3.1.1</version>
		</dependency>

		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-mapreduce-client-core</artifactId>
			<version>3.1.1</version>
		</dependency>

	</dependencies>

	<build>
	<plugins>

		<plugin>
			<groupId>org.apache.maven.plugins</groupId>
			<artifactId>maven-compiler-plugin</artifactId>
			<configuration>
				<source>1.8</source>
				<target>1.8</target>
			</configuration>
		</plugin>
		
		<plugin>
  			<groupId>org.apache.maven.plugins</groupId>
  			<artifactId>maven-jar-plugin</artifactId>
  			<version>2.4</version>
  			<configuration>
  				<archive>
  					<manifest>
  						<addClasspath>true</addClasspath>
  						<classpathPrefix>lib/</classpathPrefix>
  						<mainClass>cn.xuegod.mr.WordCountRunner</mainClass>
  					</manifest>
  				</archive>
  			</configuration>
  		</plugin>
		

	</plugins>
	</build>

</project>

 

  
 

版本根据自己所使用的情况进行填写，但是修改版本后可能出现错误。包括依赖上的错误，还有pom.xml文件开头报错：

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd

maven仓库中的出现了许多.LastUpdated结尾的文件。这是由于某些原因导致文件未下载完整，所以依赖无法正确引用。
cmd加入maven仓库
执行下面命令，删除所有未完整下载的文件。

C:\Users\zeng_lei\.m2\repository>for /r %i in (*.lastUpdated) do del %i

然后去项目中，maven – update project即可
4.
在ide中跑通后，打成jar包

idea的打包方式可能不同，去终端，用命令行打包也行
1，将需要打成jar包的java文件编译成class文件，idea里的小锤子build project，或者javac命令也可
2，找到class文件，在文件所在目录打开命令行
3，执行命令jar -cvf abc.jar xxxx.class，这个是把单个class文件打成jar包
4，如果需要把整个目录打成jar包可以执行jar -cvf abc.jar AAAA，这里需要注意这个AAAA的目录必须是java编译成class文件的整个包的最外层目录，比如我们一般的java文件的包是com.a.b，那么AAAA必须是com

5. 然后上传到Hadoop集群机器上
6. 执行hadoop jar hadoop-7.0.0.1-SNAPSHOT.jar即可执行MR程序