系列文章目录
😜即日起，更新云原生相关知识，喜欢的小伙伴可以给我点个三连喔
😜收录至专栏 云原生
😜【云原生Docker系列第四篇】Docker Cgroups资源控制操作
😜【云原生Docker系列第九篇】Docker-Compose 容器集群的快速编排
😜【云原生Docker系列项目实战第一篇】dockerfile+lnmp+workpress
😜【云原生Kubernetes系列第一篇】深入理解容器集群管理系统Kubernetes（k8s）
前言
搭建多master集群Kubernetes之前先要完成单节点部署，单节点部署参照上一篇博客【云原生Kubernetes系列第三篇】二进制部署单节点Kubernetes（k8s）v1.20
一、多master集群概述
1.1 node如何找到master
node节点的kubelet.kubeconfig和kube-proxy.kubeconfig文件写明了apiserver的端口号和master节点的IP地址，从而找到master节点，当我们在部署集群的时候，就要有两个master，但是一个集群中只能有一个主，该如何指定呢？我们可以使用VIP地址。
1.2 如何配置master集群
我们可以把master集群当做nginx服务器群，node节点是客户端，客户端想要找到服务器需要通过负载均衡器实现转发，我们可以安装一个调度器，调度器使用LVS、nginx、haproxy都可以，为了简单我们安装nginx做负载均衡器，再考虑负载均衡器的高可用，搭建两台nginx服务器实现调度器的高可用。
1.3 集群架构
多master一般装两到三台，三台比两台更有保障，同时会有一个选举机制，需要使用奇数台，两台master可仅仅满足高可用和负载
#scheduler.sh文件中定义了多节点的选举机制
--leader-elect=true：当该组件启动多个时，自动启动 leader 选举
k8s中Controller-Manager和Scheduler的选主逻辑：k8s中的etcd是整个集群所有状态信息的存储，涉及数据的读写和多个etcd之间数据的同步，对数据的一致性要求严格，所以>使用较复杂的 raft 算法来选择用于提交数据的主节点。而 apiserver 作为集群入口，本身是无状态的web服务器，多个 apiserver 服务之间直接负载请求并不需要做选主。Controller-Manager 和 Scheduler 作为任务类型的组件，比如 controller-manager 内置的 k8s 各种资源对象的控制器实时的 watch apiserver 获取对象最新的变化事件做期望状>态和实际状态调整，调度器watch未绑定节点的pod做节点选择，显然多个这些任务同时工作是完全没有必要的，所以 controller-manager 和 scheduler 也是需要选主的，但是选主逻辑和 etcd 不一样的，这里只需要保证从多个 controller-manager 和 scheduler 之间选出一个 leader 进入工作状态即可，而无需考虑它们之间的数据一致和同步。
二、多master集群部署过程
2.1 实验环境
| 主机 | IP地址 | 组件 |
|---|---|---|
| k8s集群master01 | 192.168.109.131 | kube-apiserver kube-controller-manager kube-scheduler |
| k8s集群master02 | 192.168.109.134 | |
| k8s集群node01 | 192.168.109.132 | kubelet kube-proxy docker |
| k8s集群node02 | 192.168.109.133 | kubelet kube-proxy docker |
| etcd集群节点1 | 192.168.109.131 | etcd |
| etcd集群节点2 | 192.168.109.132 | etcd |
| etcd集群节点3 | 192.168.109.133 | etcd |
| 负载均衡nginx+keepalive01（master） | 192.168.109.135 | |
| 负载均衡nginx+keepalive02（backup） | 192.168.109.137 | |
| VIP | 192.168.109.200 |
考虑到电脑性能，我将etcd部署在master和node节点上，master集群实现高可用，并且我这边只搭建两个node节点
2.2 操作系统初始化配置
#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
#-X清除自定义的规则
#关闭selinux
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config
#关闭swap
swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab
#根据规划设置主机名
hostnamectl set-hostname master01
hostnamectl set-hostname node01
hostnamectl set-hostname node02
#在master添加hosts
cat >> /etc/hosts << EOF
192.168.109.131 master01
192.168.109.134 master02
192.168.109.132 node01
192.168.109.133 node02
EOF
#调整内核参数
cat > /etc/sysctl.d/k8s.conf << EOF
#开启网桥模式，可将网桥的流量传递给iptables链
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
#关闭ipv6协议
net.ipv6.conf.all.disable_ipv6=1
net.ipv4.ip_forward=1
EOF
sysctl --system
#时间同步
yum install ntpdate -y
ntpdate time.windows.com
2.3 配置master02节点
#我们直接将master01的文件复制到master02，不在重复安装
[root@master01 opt]# scp -r kubernetes/ master02:/opt
#创建软连接到系统，便于识别
[root@master02 bin]# ln -s /opt/kubernetes/bin/* /usr/local/bin/
[root@master02 cfg]# vim kube-apiserver
--bind-address=192.168.109.134 #修改
--advertise-address=192.168.109.134 #修改
#将master01的etcd证书复制过去
[root@master01 opt]# scp -r etcd/ master02:/opt
#将master01中kubectl的配置文件复制过去
[root@master01 ~]# scp -r .kube/ master02:/root
#此时master02可以查看到node
[root@master02 opt]# kubectl get node
NAME STATUS ROLES AGE VERSION
192.168.109.132 Ready <none> 7h11m v1.20.11
192.168.109.133 Ready <none> 7h1m v1.20.11
#将master01节点的服务复制谷片区
[root@master01 ~]# cd /usr/lib/systemd/system
[root@master01 system]# ls kube*
kube-apiserver.service kube-scheduler.service
kube-controller-manager.service
[root@master01 system]# scp kube* master02:`pwd`
#master02开启服务
ls kube*
systemctl start kube-apiserver.service kube-scheduler.service kube-controller-manager.service
systemctl enable kube-apiserver.service kube-scheduler.service kube-controller-manager.service
systemctl status kube-apiserver.service kube-scheduler.service kube-controller-manager.service
2.4 配置负载均衡器
两台相同
hostnamectl set-hostname nginx01
hostnamectl set-hostname nginx02
#将nginx.repo移到/etc/yum.repos.d/
yum -y install nginx
#配置四层反向代理，配置在http外面
#使用轮询算法
vim /etc/nginx/nginx.conf
stream{
upstream k8s-masters{
server 192.168.109.131:6443;
server 192.168.109.134:6443;
}
server{
listen 6443;
proxy_pass k8s-masters;
}
}
#启动
systemctl enable --now nginx
负载均衡器高可用
#安装keepalived
yum install -y keepalived
#在/etc/keepalived目录下创建nginx检测脚本
cd /etc/keepalived/
vim check_nginx.sh
#!/bin/bash
#检测nginx是否启动了
A=`ps -C nginx --no-header |wc -l`
if [ $A -eq 0 ];then #如果nginx没有启动就启动nginx
systemctl start nginx #重启nginx
if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then #nginx重启失败，则停掉keepalived服务，进行VIP转移
killall keepalived
fi
fi
#给脚本执行权限
chmod +x check_nginx.sh
#修改keepalived配置文件
vim keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 127.0.0.1 #修改邮箱地址
smtp_connect_timeout 30
router_id NGINX_01 #修改主备id
#删掉这里的四行vrrp
}
#加入周期性检测nginx服务脚本的相关配置
vrrp_script check_nginx{
script "/etc/keepalived/check_nginx.sh" #心跳执行的脚本，检测nginx是否启动
interval 2 #（检测脚本执行的间隔，单位是秒）
}
vrrp_instance VI_1 {
state MASTER
interface ens33 #修改网卡名称
virtual_router_id 51
priority 100 #优先级，主不改，备改成比100小就行
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.109.200 #修改VIP地址
}
#添加跟踪(执行脚本)
track_script{
check_nginx
}
}
#重启服务
systemctl restart keepalived.service
#备服务器下载好keepalived后，在主服务器上将脚本和keepalived配置文件传过去
[root@nginx01 keepalived]# scp * 192.168.109.135:`pwd`
#传过去后修改三处
router_id NGINX_02
state BACKUP
priority 90
#然后重启服务
systemctl restart keepalived.service
2.5 修改其他节点
#将两个node节点的bootstrap.kubeconfig、kubelet.kubeconfig、kube-proxy.kubeconfig中的server改为VIP地址
cd kubernetes/cfg/
vim bootstrap.kubeconfig
vim kubelet.kubeconfig
vim kube-proxy.kubeconfig
server: https://192.168.109.200:6443
#重启
systemctl restart kubelet kube-proxy
#两个master节点中的kubectl配置文件改为VIP地址
vim ~/.kube/config
server: https://192.168.109.200:6443
2.6 创建pod
2.6.1 kubectl创建pod
[root@master01 ~]# kubectl get pods
No resources found in default namespace.
[root@master01 ~]# kubectl run stevelu01 --image=nginx:1.14
pod/stevelu01 created
[root@master01 ~]# kubectl run stevelu02 --image=nginx:1.14
pod/stevelu02 created
[root@master01 ~]# kubectl run stevelu03 --image=nginx:1.14
pod/stevelu03 created
[root@master01 ~]# kubectl get pods
NAME READY STATUS RESTARTS AGE
stevelu01 0/1 ContainerCreating 0 18s
stevelu02 1/1 Running 0 10s
stevelu03 1/1 Running 0 6s
[root@master01 ~]# kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
stevelu01 1/1 Running 0 35s 10.244.1.8 192.168.109.133 <none> <none>
stevelu02 1/1 Running 0 27s 10.244.0.10 192.168.109.132 <none> <none>
stevelu03 1/1 Running 0 23s 10.244.0.11 192.168.109.132 <none> <none>
#创建基于centos镜像的pod
kubectl run centos01 -it --image=centos:7
并且可以看到pod运行的节点不一样，由调度算法决定
2.6.2 dashboard创建pod
总结
多master节点部署步骤
- 先部署master02等其它master节点
- 搭建Nginx/Haproxy +keepalived高可用负载均衡对接master节点群集
- 修改node节点上的kubelet kube-proxy的kubeconfig配置文件对接 vip
- kubectl的配置文件也要对接VIP或者当前节点的IP
转载：https://blog.csdn.net/qq_42327944/article/details/125809476
查看评论