hadoop运行方式
1、本机方式:不做任何配置
2、伪分布式:pseudo distributed
3、全分布式:full distributed
由于hadoop只能运行于linux(unix类型)操作系统上,因此在windows上做开发、测试,需要安装cygwin来模拟linux环境。
一、cygwin安装
直接到cygwin上下载安装配置程序setup.exe,该程序并不包含实际的安装文件,只是一个外壳,启动之后可以选择1、在线安装,并将需要的文件下载到本地;2、只下载需要安装的文件到本地,并不安装;3、从本地文件中定位已下载好的安装文件,然后进行安装。
这里有一个概念,安装外壳程序(控制安装过程)、需要安装的文件,将安装过程分为不同部分,分别处理,可以根据需求,扩展需要安装的文件,而不需要修改安装的外壳程序。
根据需要选择一种方式,然后需要安装的组件:openssh、vim、rpm,根据提示选择路径,安装好cygwin。
cygwin简单说明
cygwin能够模拟linux语法,在选择安装组件后,能使用已安装的组件,如上例中正确安装了vim,则可以使用vim文件编辑工具,其他的可根据需要自己选择安装。在cygwin中可以像在linux环境下运行一样处理,模拟了linux的文件系统。还有一个特点就是cygwin还可以使用windows中的命令,也就是说cygwin不仅模拟了linux运行环境,而且还能使用windows中自身的脚本或命令。例如:在windows中设置了java的运行环境,则在cygwin中无需安装java运行环境,直接输入java -version就能和在windows中的cmd中的输出一致。又例如,在windows中的环境变量中增加了java_home,那么在windows的cmd中执行echo %java_home%和在cygwin中执行echo %java_home将是一样的。
在cygwin中建立软连接
windows中安装的java环境,可能安装在包含空格的路径中,如e:\program files\java,那么在cygwin模拟的linux环境中,如果是简单执行java程序,那么没有问题,cygwin本身就可以根据windows的环境变量找到java的运行环境,但如果是复杂一点的配置,如hadoop中,需要单独配置java_home的环境变量,那么在配置文件中直接配置e:\program files\java这样的路径,是无法成功的。因此需要建立一个软连接,将windows中的路劲映射到cygwin所模拟的linux系统上,命令 ln -s "E:\Program Files\Java\jdk1.6.0_20" /usr/local/jdk1.6.0_20
如此,就可以在hadoop的环境配置中将java的运行环境java_home设置为/usr/local/jdk1.6.0_20了。
二、安装hadoop
将hadoop的压缩包解压得到hadoop-1.0.1,可以直接将该文件夹copy到
E:/cygwin/usr/local/下,也可以采用软连接的方式将对应的hadoop文件映射到/usr/local/hadoop-1.0.1上(如:ln -s d:/soft/hadoop-1.0.1 /usr/local/hadoop-1.0.1)。
1、配置hadoop
(1)编辑文件/etc/profile增加
export HADOOP_INSTALL=/usr/local/hadoop-1.0.1
export PATH=$PATH:$HADOOP_INSTALL/bin
保存文件并使用命名source /etc/profile重新编译使配置生效
完成之后可以使用命名检查配置是否生效
hadoop -version,如果配置正确,则会正确输出hadoop版本信息。
(2)编辑文件/usr/local/hadoop-1.0.1/conf/hadoop-env.sh增加
export JAVA_HOME=/usr/local/jdk1.6.0_20
(3)配置core-site.xml、hdfs-site.xml、mapred-site.xml文件
修改core-site.xml配置为
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost/</value>
</property>
</configuration>
修改hdfs-site.xml配置为
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
修改mapred-site.xml配置为
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
</configuration>
2、格式化namenode
使用命令:hadoop namenode -format
三、配置ssh
(1)创建ssh服务器
使用命令 ssh-host-config
在交互阶段选择
Should privilege separation be used?yes
new local account 'sshd'?yes
Do you want to install sshd as a service?yes
Enter the value of CYGWIN for daemon:[]
当看到Host configuration finished.Have fun!表示安装完成
启动ssh服务,使用命令net start sshd
(2)采用密钥方式登陆,不使用用户/密码方式登陆
使用命令
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
如果成功,则执行命名
ssh localhost不会提示输入密码,直接登陆成功
启动hadoop
执行命令:start-all.sh(这相当于执行命名/usr/local/hadoop-1.0.1/bin/start-all.sh,因为在/etc/profile中加hadoop的bin路径加入了环境变量path中)
分享到:
相关推荐
Windows下Cygwin环境的Hadoop安装- 在Eclipse中重新编译hadoop的jar包
本文档详细介绍了如何在Windows上的Cygwin环境上安装Hadoop的详细过程,网上的很多帖子都是有错误的,我在这里总结并修改的部分错误,希望对大家有帮助。
详细介绍windows下,下载安装cygwin进行搭建hadoop开发环境过程。
windows平台下cygwin搭建hadoop,不错的资料欢迎下载
在Windows上安装Hadoop 使用cygwin模拟使用linux环境 体验hadoop的分布式计算优势
一份Windows上安装hadoop的教程和Vista/Win7上安装sshd服务的说明
在Windows上使用Cygwin作为类Unix支撑环境来安装Hadoop, 网上介绍的还是比较多的。 但是我在安装过程中碰到的一些问题, 没有在任何一个可找到的网页中得到全部解决。 例如,我们一开始选择的是Hadoop 1.0.0版本,...
windows下配置cygwin、hadoop等并运行mapreduce及mapreduce程序讲解
在Windows下利用cygwin仿unix环境安装配置Hadoop
分布式,Windows下安装Cygwin,安装Hadoop,运行实例。
hadoop-3.0.0 windows下配置文件,winutils支持和hadoop.dll等文件,解压取出bin覆盖hadoop-3.0.0\bin即可。不需要cygwin。
在windows下搭建hadoop环境,一般需要借助虚拟机或者cygwin来模拟一个linux的启动环境。但这样搭建一个环境太麻烦了,其实可以直接像linux上一样来配置变量,然后启动,他的启动命令就是上面jar包中的bin
1. JDK 版本"1.7.0_01" 2. Cygwin——在线安装 3. Eclipse SDK 版本3.3.2 4. Hadoop 版本 hadoop-0.20.2 5. windows 7
7 在Windows 上安装Hadoop 教程 13 在Linux 上安装Hadoop 教程 19 在Windows 上使用eclipse 编写Hadoop 应用程序 24 在Windows 中使用Cygwin 安装HBase 28 Nutch 与Hadoop 的整合与部署 31 在Windows eclipse 上单步...
hadoop,mapreduce及windows下配置cygwin等内容介绍,以及应用案例
Hadoop windows中运行 不依赖 Cygwin,包含bin 和etc 复制解压开的bin文件和etc文件到Hadoop安装包内
7 在Windows上安装Hadoop教程 13 在Linux上安装Hadoop教程 19 在Windows上使用eclipse编写Hadoop应用程序 24 在Windows中使用Cygwin安装HBase 28 Nutch 与Hadoop的整合与部署 31 在Windows eclipse上单步调试Hive...
目前,hadoop可以运行在linux,unix,windows系统上。实际上hadoop是为在linux平台上使用而开发出来的。...如果想在windows上运行hadoop,那么必须先安装Cygwin以模拟linux环境,然后再安装hadoop。
windows操作系统下安装Cygwin,用来模拟Linux/Unix进行Hadoop部署、开发