linux配置hadoop分布式集群
发布时间：2022-11-16 11:19:54 所属栏目：Linux 来源：
导读： linux配置hadoop分布式集群
安装hadoop分布式集群hadoop-3.3.0及jdk1.8下载链接
一、前期准备
1.安装hadoop分布式之前先准备好3台虚拟机
2.分别在每一台虚拟机下创建hadoop用户
安装hadoop分布式集群hadoop-3.3.0及jdk1.8下载链接
一、前期准备
1.安装hadoop分布式之前先准备好3台虚拟机
2.分别在每一台虚拟机下创建hadoop用户
|
linux配置hadoop分布式集群 安装hadoop分布式集群hadoop-3.3.0及jdk1.8下载链接 一、前期准备 1.安装hadoop分布式之前先准备好3台虚拟机 2.分别在每一台虚拟机下创建hadoop用户，并为其设置密码 3.将第一台主机名设置为HadoopMaster；第二台设置为HadoopSlave01;第三台设置为HadoopSlave02 4.配置免密登录，使在HadoopMaster用户上能分别免密登录到主机HadoopSlave01和HadoopSlave02上。 如果免密没有准备好的可以参考这篇文章免密登录教程 二、Jdk的安装 在三台主机上都创建software文件夹 mkdir software //创建software文件夹 将hadoop压缩包上传到主机HadoopMaster的hadoop用户下的software目录下； 3.将jdk的缩包上传三台主机的hadoop用户下的software目录下； 上传好之后ll即可看到上传好的压缩包 查看两个包是否上传完整，可能会出现丢包的情况，步骤如下图，两个包都查看一下，大小都相同之后，接着执行下一步 解压jdk 输入 tar -zxvf jdk-8u171-linux-x64.tar.gz vi ~/.bash_profile 配置jdk环境变量(三台虚拟机都有配置jdk），配置好之后保存退出 输入 source ~/.bash_profile 更新文件 输入 java -version 即可查看jdk版本信息，出现如下提示，便表示jdk环境变量已经配置好。另外两台同上 三、配置hadoop集群 配置之前先在/home/hadoop/software目录下创建文件夹hadooptmp mkdir hadooptmp 创建名为hadooptmp的文件夹 tar -zxvf 2.cd /home/hadoop/software/hadoop-3.3.0/etc/hadoop 进入该目录下执行下边操作 3.vi hadoop-env.sh 编辑文件，下文件里添加如下代码（这里的路径是自己jdk存放的位置）编辑好之后保存退出 在这里插入图片描述 vi yarn-env.sh 编辑文件，下文件里添加如下代码（这里的路径是自己jdk存放的位置）编辑好之后保存退出 5.vi core-site.xml 编辑文件 进入文件之后找到 在文件里添加如下代码 <property> <name>fs.defaultFS</name> <value>hdfs://HadoopMaster:9000 </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/software/hadooptmp</value> </property> 6.vi hdfs-site.xml 编辑文件 进入文件之后找到 在文件里添加如下代码 <property> <name>dfs.replication</name> <value>2</value> </property> 7.vi yarn-site.xml 编辑文件 进入文件之后找到 在文件里添加如下代码 <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>HadoopMaster:18040</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>HadoopMaster:18030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>HadoopMaster:18025</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>HadoopMaster:18141</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>HadoopMaster:8088</value> </property> 8.vi mapred-site.xml 编辑文件 进入文件之后找到 在文件里添加如下代码 <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 9.vi /workers 配置worker文件 将里边的的内容替换为 HadoopSlave01 HadoopSlave02 10.返回software目录下 11.使用下面的命令将已经配置完成的 Hadoop目录复制到从节点 Slave 上： scp -r hadoop-3.3.0 hadoop@HadoopSlave01:~/software/ scp -r hadoop-3.3.0 hadoop@HadoopSlave01:~/software/ 12.vi ~/.bash_profile 配置hadoop启动时的环境变量 13.在里边添加hadoop 的环境变量（三台用户都要分别配置hadoop的 环境变量） export HADOOP_HOME=/home/hadoop/software/hadoop-3.3.0 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 14.配置好文件之后输入 source ~/.bash_profile 更新文件 15.hdfs namenode -format格式化 （在主节点执行） 16.start-all.sh 启动hadoop分布式集群 （在主节点执行） 17.Jps 查看，有如下内容，就说明hadoop分布式集群安装好了 18.在hadoopslave01和hadoopslave02两个节点上直接输入jps查看，有如下内容，就说明hadoop分布式集群安装好了 19.在浏览器上访问 192.168.195.184:9870 20.在浏览器上访问 192.168.195.184.8088 端口如下 在这里插入图片描述 本篇文章就到这里了，这些都是自己平时遇到的问题或者自己用到的东西集群linux，然后就整理了一下，能帮助到你，若有不对或这描述不清楚的地方请指正。 （编辑：云计算网_汕头站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
浙公网安备 33038102330478号