hadoop-1.0.3单机配置
前提条件:
1. 安装jdk
2. ssh免密码输入访问
配置步骤:
1. 下载hadoop-1.0.3并解压到/home/ting/program/hadoop目录
2. 设置环境变量
vim ~/.bash_profile,添加如下内容:
export HADOOP_HOME=/home/ting/program/hadoop/hadoop-1.0.3
3. 在hadoop-1.0.3目录创建一个tmp目录
mkdir tmp
4. 修改conf/hadoop-env.sh
去掉JAVA_HOME前的#,并将其修改成自己安装的java路径。
# The java implementation to use. Required.
export JAVA_HOME=/home/ting/program/java/jdk1.6.0_34
5. 修改conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://127.0.0.1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/ting/program/hadoop/hadoop-1.0.3/tmp</value>
</property>
</configuration>
说明:127.0.0.1是单机环境下的本机地址,9000在搭建hbase集群环境时需要用到。
hadoop.tmp.dir设置为之前创建的tmp目录
6. 修改conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
7. 修改conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
8. 修改conf/masters和conf/slaves,其内容都是localhost
localhost
9. 格式化HDFS
命令:./bin/hadoop namenode -format
说明:进行此步前最好先删除tmp目录下的所有数据,否则DataNode线程无法启动。
10. 运行hadoop
命令:sh start-all.sh
11. 测试hadoop是否启动成功
命令:jps
若出现如下6个名称的进程,则hadoop运行成功。
15125 SecondaryNameNode
15217 JobTracker
14984 DataNode
19072 Jps
14860 NameNode
15348 TaskTracker
12. 验证Hadoop是否安装成功。打开浏览器,分别输入一下网址:
http://localhost:50030 (MapReduce的Web页面)
http://localhost:50070 (HDfS的web页面)
- 大小: 57.8 KB
- 大小: 51.2 KB
分享到:
相关推荐
Exception in thread "main" java.io.IOException: Failed to ...解决方法是,修改/hadoop-1.0.3/src/core/org/apache/hadoop/fs/FileUtil.java文件 688-692行注释,然后重新编译源代码,重新打一个hadoop.jar的包。
windows下hadoop 的 eclipse 插件,eclipse3.7版本测试通过,lib里面包含解决windows下连接linux权限问题的hadoop-core.jar文件。
hadoop-1.0.3 中文,资料都是来自apache,资料还是很齐全的,自己编译的,可以搜索,有些显示还是0.18版的,可能是文档没有更新过来。分数有点多,回复就会还你的。
Hadoop-1.0.3 API, 帮助用户查看Hadoop自身提供的接口调用
hadoop-1.0.3 eclipse插件
hadoop-1.0.3-eclipse-plugin.jar 插件 你懂的!
flink-1.0.3-bin-hadoop27-scala_2flink-1.0.3-bin-hadoop27-scala_2
hadoop-eclipse-plugin-1.0.3.jar 插件。 hadoop eclipse 插件,用于在eclipse中搭建hadoop的开发环境。 hadoop eclipse插件
3.使用编辑器打开E:\apps\hadoop-2.7.7\etc\hadoop\hadoop-env.cmd,修改set JAVA_HOME=E:\apps\你的jdk目录名 4.把E:\apps\hadoop-2.7.7\bin\hadoop.dll拷贝到 C:\Windows\System32 5.设置环境变量,新建系统变量,...
该资源包里面包含eclipse上的hadoop-1.2.1版本插件的jar包和hadoop-1.2.1.tar.gz,亲测可用~~请在下载完该包后解压,将hadoop-1.2.1...preferences ,browser选择D:\hadoop-eclipse,配置Hadoop MapReduce的安装路径。
赠送jar包:hadoop-mapreduce-client-jobclient-2.6.5.jar; 赠送原API文档:hadoop-mapreduce-client-jobclient-2.6.5-javadoc.jar; 赠送源代码:hadoop-mapreduce-client-jobclient-2.6.5-sources.jar; 赠送...
赠送jar包:hadoop-yarn-client-2.6.5.jar; 赠送原API文档:hadoop-yarn-client-2.6.5-javadoc.jar; 赠送源代码:hadoop-yarn-client-2.6.5-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-client-2.6.5.pom;...
hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...
hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包
Apache Hadoop (hadoop-3.3.4.tar.gz)项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢,因此将hadoop-3.3.4 版本放在这里,欢迎大家来下载使用! Hadoop 架构是一个开源的、基于 Java 的编程...
hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1
赠送jar包:hadoop-common-2.7.3.jar; 赠送原API文档:hadoop-common-2.7.3-javadoc.jar; 赠送源代码:hadoop-common-2.7.3-sources.jar; 赠送Maven依赖信息文件:hadoop-common-2.7.3.pom; 包含翻译后的API文档...