一、Hadoop测试环境准备(学习使用)

一、Hadoop测试环境准备(学习使用)

IT-风油精 645 2023-01-09

1、安装虚拟机

1.1 虚拟机的要求
(1)单台虚拟机:内存4G,硬盘50G,安装必要环境
(2)最小安装即可

1.2 安装以下软件
sudo yum install -y epel-release
sudo yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

1.3 修改克隆虚拟机的静态IP
sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33
改成
DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME=“ens33”
IPADDR=192.168.1.101
PREFIX=24
GATEWAY=192.168.1.2
DNS1=192.168.1.2

4、查看Linux虚拟机的虚拟网络编辑器,编辑->虚拟网络编辑器->VMnet8
图片
图片-1673234312166

5、查看Windows系统适配器VMware Network Adapter VMnet8的IP地址
图片-1673234328540

6、保证Linux文件中IP地址、Linux虚拟网络编辑器地址和Windows系统VM8网络IP地址相同。

2、配置虚拟机

2.1 修改主机名
(1)修改主机名称
sudo hostnamectl --static set-hostname hadoop101
(2)配置主机名称映射,打开/etc/hosts
sudo vim /etc/hosts
添加如下内容
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
(3)修改window7的主机映射文件(hosts文件)
(a)进入C:\Windows\System32\drivers\etc路径
(b)打开hosts文件并添加如下内容
192.168.1.100 hadoop100
 192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
(4)修改window10的主机映射文件(hosts文件)
(a)进入C:\Windows\System32\drivers\etc路径
(b)拷贝hosts文件到桌面
(c)打开桌面hosts文件并添加如下内容
192.168.1.100 hadoop100
 192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
(d)将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件

2.2 关闭防火墙
sudo systemctl stop firewalld
sudo systemctl disable firewalld

2.3 创建atguigu用户
sudo useradd atguigu
sudo passwd atguigu

2.4 重启虚拟机
reboot

2.5 配置atguigu用户具有root权限
visudo
修改/etc/sudoers文件,找到下面一行(91行),在root下面添加一行,如下所示:

## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
atguigu   ALL=(ALL)     ALL

2.6 在/opt目录下创建文件夹
(1)在/opt目录下创建module、software文件夹
sudo mkdir module
sudo mkdir software
如果出现“不在 sudoers 文件中。此事将被报告。”:
以root用户登录系统,进入/etc目录,查看sudoers文件的权限
修改sudoers文件的权限使其不是只读
chmod 777 sudoers
编辑sudoers文件,添加itconrad用户为所有可执行权限
然后修改回sudoers文件权限为440
chmod 440 sudoers
(2)修改module、software文件夹的所有者cd
sudo mkdir /opt/module /opt/software
sudo chown atguigu:atguigu /opt/module /opt/software

2.7 更换国内yum源
2.7.1 安装wget
yum -y install wget
2.7.2 用wget下载repo文件
wget http://mirrors.aliyun.com/repo/Centos-7.repo
2.7.3 备份系统原来的repo文件
mv CentOS-Base.repo CentOS-Base.repo.bak
2.7.4 替换系统原理的repo文件
mv Centos-7.repo CentOS-Base.repo
2.7.5 执行yum源更新命令
yum clean all
yum makecache
yum update

3、克隆虚拟机

3.1 将刚刚配置好的hadoop102关机,
3.2 拍快照,拍摄关机快照比开机快照更快
3.3 用快照克隆虚拟机
3.4 将克隆好的虚拟机开机
进入虚拟机修改虚拟机的hostname:
sudo hostnamectl --static set-hostname hadoop103
sudo hostnamectl --static set-hostname hadoop104
3.5 修改ens33的ip地址
sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33
ip改为192.168.1.103和192.168.1.104

4、安装Java

4.1 将安装包拉进虚拟机的home的itconrad用户目录下
执行解压命令,指定解压到/opt/module/
图片-1673234579413

4.2 在 /etc/profile.d/ 创建一个环境变量的文件
sudo vim /etc/profile.d/my_env.sh

4.3 在my_env.sh添加以下内容:
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=PATH:PATH:JAVA_HOME/bin
并保存

4.4 重启xshell客户端,输入java -version