小言_互联网的博客

大数据学习中在虚拟机中的----------hadoop单例安装

273人阅读  评论(0)

1、下载H加粗样式adoop先对应的版本号
(我这里用到的是hadoop -2.7.1.tar.gz)
2、上传Hadoop文件并解压文件。
tar -zxvf hadoop-2.7.1.tar.gz -C /opt/apps
3、解压到相对应的文件夹下面,我们可以看到hadoop的root权限是一组数字,此时我们要添加组用户的权限。
chown -R root:root hadoop-2.7.1
4、配置环境变量。
vi /etc/profile
在配置文件最后加上
export HADOOP_HOME=(自己安装jdk所对应的绝对路径)PATH= P A T H : PATH: HADOOP_HOME/bin:$HADOOP_HOME/sbin
退出之后记得执行
source /etc/profile
5、接下来对Hadoop运行环境进行配置
vi Hadoop-env.sh
找到JAVA_HOME并且修改所对应的
export JAVA_HOME=(#路径设置成自己的jdk的安装路径)
6、运行文件配置好我们可以来测试一下输入:
hadoop version
which hadoop
会得到先对应的版本号。

7、我也给大家带来了一个入门级别的案例。
第一步:进入mapreduce :
cd $HADOOP_HOME/share/hadoop/mapreduce
第二步:显示所有的案例名:
hadoop jar hadoop-mapreduce-examples-2.7.1.jar
hadoop jar hadoop-mapreduce-examples-2.7.1.jar pi
Usage: org.apache.hadoop.examples.QuasiMonteCarlo

hadoop jar hadoop-mapreduce-examples-2.7.1.jar wordcount
Usage: wordcount [.

  1. List item

…] 输入目录、输出目录
第三步:求圆周率
hadoop jar hadoop-mapreduce-examples-2.7.1.jar pi 5 5

第四步:统计一个文件夹里面的文件每个单词同出现的次数。
hadoop jar hadoop-mapreduce-examples-2.7.1.jar wordcount /wordcount/input /finally/output
注意!!!
1、【out】 必须是不存在的一个文件!
如果你写的是一个已经存在的文件或是文件夹那么就会显示如下错误提示:
org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory file:/dsadshadsa/output already exists
2、最后打开 cd /finally/outputt文件检查统计出来的结果!


转载:https://blog.csdn.net/TheShy1231/article/details/104546380
查看评论
* 以上用户言论只代表其个人观点,不代表本网站的观点或立场