Kubernetes 集群部署

248次阅读

共计 7093 个字符，预计需要花费 18 分钟才能阅读完成。

Kubernetes 有三种安装方式：

1、通过 yum 进行安装

2、通过二进制文件进行安装

3、命令行工具 kubeadm 进行安装

kubeadm 是 Kubernetes 官方提供的用于快速安装 Kubernetes 集群的工具，致力于简化集群的安装过程，并解决 Kubernetes 集群的高可用问题。

  安装 kubernetes 所需软件包：链接:https://pan.baidu.com/s/1GoxSWAHkB3AVn9aRzGMjkQ  
密码:az0o

准备好三台虚拟机分别做为 master、node-1、node-2

虚拟机硬件配置：

master：2CPU、4G

node-1：2CPU、2G
node-2：2CPU、2G

Kubernetes 集群部署

网络配置：
master：192.168.2.20
node-1：192.168.2.21
node-2：192.168.2.22
操作系统：
Centos-8 最小化安装

主机名设置：

 # hostnamectl  set-hostname  master
 
# hostnamectl  set-hostname  node-1
 
# hostnamectl  set-hostname  node-2

设置 Hosts 文件的相互解析：

 # cat /etc/hosts
 
192.168.2.20	master
192.168.2.21	node-1
192.168.2.22	node-2

Kubernetes 集群部署

a、关闭 swap

# swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

b、关闭 Selinux

# setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

c、关闭 firewalld

# systemctl stop firewalld && systemctl disable firewalld

d、重置 Iptables 并设置空规则：

  
# yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save

e、关闭不需要的服务：

# systemctl stop postfix && systemctl disable postfix

 - 下载阿里云的 yum 源文件：# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-8.repo
 
- 安装 epel 源：# yum install -y https://mirrors.aliyun.com/epel/epel-release-latest-8.noarch.rpm
 
- 将 repo 配置中的地址替换为阿里云镜像站地址：# sed -i 's|^#baseurl=https://download.fedoraproject.org/pub|baseurl=https://mirrors.aliyun.com|' /etc/yum.repos.d/epel*
# sed -i 's|^metalink|#metalink|' /etc/yum.repos.d/epel*
 
- 配置 docker 源：# yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
 
- 设置 kubernetes 源：# cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

 - 安装依赖包：# yum makecache && yum -y update
 
# yum -y install conntrack ipvsadm ipset jq iptables curl sysstat libseccomp wget vim-enhanced lrzsz  net-tools git net-tools psmisc bash-completion yum-utils.noarch nmap bind-utils
 
- 设置系统时区：中国 / 上海
 
# timedatectl set-timezone Asia/Shanghai  
 
- 将当前的 UTC 时间写入硬件时钟：# timedatectl set-local-rtc 0
 
- 重启依赖于系统时间的服务：# systemctl restart rsyslog
 
# systemctl restart crond

 # cat > kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0 					# 禁止使用 swap 空间，只有当系统 OOM 时才允许使用它 
vm.overcommit_memory=1 					# 不检查物理内存是否够用 
vm.panic_on_oom=0 					# 开启 OOM
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF
 
# cp kubernetes.conf /etc/sysctl.d/kubernetes.conf
 
# sysctl -p /etc/sysctl.d/kubernetes.conf

 # mkdir /var/log/journal 					# 持久化保存日志的目录 
# mkdir /etc/systemd/journald.conf.d
# cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
Storage=persistent					# 持久化保存到磁盘 
Compress=yes						# 压缩历史日志 
SyncIntervalSec=5m					# 写入硬盘间隔 
RateLimitInterval=30s					# 限制日志的生成速率 - 时间段内 
RateLimitBurst=1000					# 限制日志的生成速率 - 每个服务最多允许产生的日志数量 (条数)
SystemMaxUse=10G					# 最大占用空间 10G
SystemMaxFileSize=200M					# 单日志文件最大 200M
MaxRetentionSec=2week					# 日志保存时间 2 周 
ForwardToSyslog=no					# 不将日志转发到 syslog
EOF
 
# systemctl restart systemd-journald

 # modprobe br_netfilter
 
# cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
 
# chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

 # yum -y install yum-utils device-mapper-persistent-data lvm2
#yum -y install  https://download.docker.com/linux/centos/7/x86_64/stable/Packages/containerd.io-1.2.6-3.3.el7.x86_64.rpm
 
# yum -y install docker-ce
 
# mkdir /etc/docker		创建 /etc/docker 目录 
 
配置 daemon：# cat > /etc/docker/daemon.json <<EOF
{"exec-opts": ["native.cgroupdriver=systemd"],
"registry-mirrors": ["https://v16stybc.mirror.aliyuncs.com"],
"log-driver": "json-file",
"log-opts": {"max-size": "100m"
}
}
EOF
 
# mkdir -p /etc/systemd/system/docker.service.d
 
# systemctl daemon-reload && systemctl restart docker && systemctl enable docker

 # yum -y install kubeadm-1.18.0 kubectl-1.18.0 kubelet-1.18.0
# systemctl enable kubelet.service

 # kubeadm config print init-defaults > kubeadm-config.yaml
 
进行如下修改：localAPIEndpoint:
advertiseAddress: 192.168.2.20
···
kubernetesVersion: v1.15.1
···
networking:
podSubnet: "10.244.0.0/16"
serviceSubnet: 10.96.0.0/12
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
featureGates:
SupportIPVSProxyMode: true
mode: ipvs

完整配置文件如下（注意格式）：

 apiVersion: kubeadm.k8s.io/v1beta2
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 192.168.2.20
  bindPort: 6443
nodeRegistration:
  criSocket: /var/run/dockershim.sock
  name: master
  taints:
  - effect: NoSchedule
    key: node-role.kubernetes.io/master
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns:
  type: CoreDNS
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: k8s.gcr.io
kind: ClusterConfiguration
kubernetesVersion: v1.15.1
networking:
  dnsDomain: cluster.local
  podSubnet: "10.244.0.0/16"
  serviceSubnet: 10.96.0.0/12
scheduler: {}
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
featureGates:
  SupportIPVSProxyMode: true
mode: ipvs

 - 安装 Master：# kubeadm init --config=kubeadm-config.yaml --upload-certs | tee kubeadm-init.log
 
- 添加 --upload-certs 参数可以在后续执行加入节点时自动分发证书文件。追加的 tee kubeadm-init.log 用以输出日志
 
# mkdir -p $HOME/.kube
# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
# chown $(id -u):$(id -g) $HOME/.kube/config
 
- 安装 flannel 网络：(官网地址：https://github.com/coreos/flannel)
 
# wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
 
# kubectl apply -f kube-flannel.yml
 
- Node 节点加入：注意下面这条命令在安装完 Master 后会输出在屏幕上
 
# kubeadm join 192.168.2.20:6443 --token abcdef.0123456789abcdef \
--discovery-token-ca-cert-hash sha256:424676564f3a33bc1d7d9451a322613188e39dcaa004386b453794d8135adaad
 
- kubectl 有很多子命令和参数，为了提高使用命令行的效率，通常建议安装 kebectl 的 bash 命令补全脚本：# source <(kubectl completion bash)
# echo "source <(kubectl completion bash)" >> ~/.bashrc

Kubernetes 集群部署

2.12、查看集群状态

# kuberctl  get  nodes  -o  wide

集群可用性验证

 # cat pod.yaml
 
apiVersion: v1
kind: Pod
metadata:
 name: nginx
 labels:
    app: web
spec:
 containers:
    - name: nginx
      image: docker.io/nginx
      ports:
       - containerPort: 80
 
 
# kubectl  create  -f   pod.yaml

通过命令查看是否创建成功：kubectl get pod -o wide

Kubernetes 集群部署

通过修改容器名称将 nginx 修改为 nginx- 1 后，创建第二个 pod 资源后查看：

Kubernetes 集群部署

通过 curl 命令查看服务是否可以正常被访问：

Kubernetes 集群部署

这里演示的是以 K8S 1.15 版本为例，具体的版本升级以你们自己实验机上安装的版本号为准！！！

kubeadm 提供了 upgrade 命令用于对 kubeadm 安装的 Kubernetes 集群进行升级，但是开始之前需要注意，虽然 kubeadm 的升级不会触及工作负载，但还是要在升级之前做好备份，升级过程可能会因为 Pod 的变化而造成容器重启。

首先执行 kubeadm upgrade plan 命令：

Kubernetes 集群部署

可以看到，我们当前使用的版本为 1.15.1，最新的稳定版本为 1.15.7，并且告知我们，如果想要进行升级操作，那么首先我们需要将 kubeadm 升级为 1.15.7 版本，然后执行升级命令。

执行命令 yum -y install kubeadm-1.15.7 进行升级

Kubernetes 集群部署

将 kubeadm 升级完成后我们执行 kubeadm upgrade apply v1.15.7 升级命令，系统询问，是否进行更新输入 Y 回车

Kubernetes 集群部署

等待片刻后，升级完成

Kubernetes 集群部署

然后再将 kubectl 与 kubelet 进行升级，然后重启 kubelet 后，查看节点版本已经升级为 1.15.7

Kubernetes 集群部署

查看组件状态

Kubernetes 集群部署

Kubernetes 集群部署组团学、结伴学 ^®

云计算、java 软件开发、python 全栈、网络安全、微服务、DBA

组团学云计算学习群:578977048

组团学 java 学习群:578470942

组团学网络安全学习群:167385779

组团学 python 学习群:643654968

微信扫描关注组团学获取更多离线学习资料！

正文完

星哥玩云-微信公众号

Kubernetes 集群部署

发表至： linux教程

2022-06-09

0

转载说明：除特殊说明外本站文章皆由CC-4.0协议发布，转载请注明出处。

批量修改密码的chpasswd命令【每日一个知识点第180期-Linux】

14个Linux系统安全小妙招，总有一招用的上

简单介绍Shell脚本之文件批量创建与修改的方法

HTML 基础- 4个实例简介

循环控制语句

Zabbix 3.4 Source code compilation installation

简单介绍Tomcat中catalina.out 和 catalina.log的区别和用途

耗时数小时，‘Not in’ SQL 优化

Kubernetes 概念介绍

Kubernetes 集群部署

一、集群部署准备

二、部署 kubernetes 集群

2.1、环境准备

2.2、操作系统初始化

2.3、配置网络源

2.4、操作系统环境优化

2.5、针对 Kubernetes 调整内核参数

2.6、设置 rsyslogd 和 systemd journald

2.7、设置 kube-proxy 开启 ipvs 的前置条件

2.8、安装 Docker 软件

2.9、安装 Kubeadm

2.10、初始化 Master 节点

2.11、安装配置集群

三、集群版本更新

申请腾讯混元的API Key并且使用LobeChat调用混元AI

Docker部署搭建一个开源强大的图书管理系统

基于Docker快速搭建一个开源的IT人员在线工具箱-it-tools

让每个人都可以轻松使用Git-腾讯自研Git客户端

使用Docker部署开源的WPS-Office

UNIX网络通信详解

linux运维常见问题解决集锦

最近大火的Manus是什么，本地部署开源版的OpenManus能代替Manus？

腾讯云服务器官网首页txyfwq（腾讯云服务器首字母）

为什么JDK的RPM包安装方式不需要配置Java环境变量

	安装 kubernetes 所需软件包：链接:https://pan.baidu.com/s/1GoxSWAHkB3AVn9aRzGMjkQ
	密码:az0o

	# hostnamectl set-hostname master

	# hostnamectl set-hostname node-1

	# hostnamectl set-hostname node-2

	# cat /etc/hosts

	192.168.2.20 master
	192.168.2.21 node-1
	192.168.2.22 node-2


	# yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save

	- 下载阿里云的 yum 源文件：# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-8.repo

	- 安装 epel 源：# yum install -y https://mirrors.aliyun.com/epel/epel-release-latest-8.noarch.rpm

	- 将 repo 配置中的地址替换为阿里云镜像站地址：# sed -i 's\|^#baseurl=https://download.fedoraproject.org/pub\|baseurl=https://mirrors.aliyun.com\|' /etc/yum.repos.d/epel*
	# sed -i 's\|^metalink\|#metalink\|' /etc/yum.repos.d/epel*

	- 配置 docker 源：# yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

	- 设置 kubernetes 源：# cat <<EOF > /etc/yum.repos.d/kubernetes.repo
	[kubernetes]
	name=Kubernetes
	baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
	enabled=1
	gpgcheck=1
	repo_gpgcheck=1
	gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
	EOF

	- 安装依赖包：# yum makecache && yum -y update

	# yum -y install conntrack ipvsadm ipset jq iptables curl sysstat libseccomp wget vim-enhanced lrzsz net-tools git net-tools psmisc bash-completion yum-utils.noarch nmap bind-utils

	- 设置系统时区：中国 / 上海

	# timedatectl set-timezone Asia/Shanghai

	- 将当前的 UTC 时间写入硬件时钟：# timedatectl set-local-rtc 0

	- 重启依赖于系统时间的服务：# systemctl restart rsyslog

	# systemctl restart crond

	# cat > kubernetes.conf <<EOF
	net.bridge.bridge-nf-call-iptables=1
	net.bridge.bridge-nf-call-ip6tables=1
	net.ipv4.ip_forward=1
	net.ipv4.tcp_tw_recycle=0
	vm.swappiness=0 # 禁止使用 swap 空间，只有当系统 OOM 时才允许使用它
	vm.overcommit_memory=1 # 不检查物理内存是否够用
	vm.panic_on_oom=0 # 开启 OOM
	fs.inotify.max_user_instances=8192
	fs.inotify.max_user_watches=1048576
	fs.file-max=52706963
	fs.nr_open=52706963
	net.ipv6.conf.all.disable_ipv6=1
	net.netfilter.nf_conntrack_max=2310720
	EOF

	# cp kubernetes.conf /etc/sysctl.d/kubernetes.conf

	# sysctl -p /etc/sysctl.d/kubernetes.conf

	# mkdir /var/log/journal # 持久化保存日志的目录
	# mkdir /etc/systemd/journald.conf.d
	# cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
	[Journal]
	Storage=persistent # 持久化保存到磁盘
	Compress=yes # 压缩历史日志
	SyncIntervalSec=5m # 写入硬盘间隔
	RateLimitInterval=30s # 限制日志的生成速率 - 时间段内
	RateLimitBurst=1000 # 限制日志的生成速率 - 每个服务最多允许产生的日志数量 (条数)
	SystemMaxUse=10G # 最大占用空间 10G
	SystemMaxFileSize=200M # 单日志文件最大 200M
	MaxRetentionSec=2week # 日志保存时间 2 周
	ForwardToSyslog=no # 不将日志转发到 syslog
	EOF

	# systemctl restart systemd-journald

	# modprobe br_netfilter

	# cat > /etc/sysconfig/modules/ipvs.modules <<EOF
	#!/bin/bash
	modprobe -- ip_vs
	modprobe -- ip_vs_rr
	modprobe -- ip_vs_wrr
	modprobe -- ip_vs_sh
	modprobe -- nf_conntrack_ipv4
	EOF

	# chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod \| grep -e ip_vs -e nf_conntrack_ipv4

	# yum -y install yum-utils device-mapper-persistent-data lvm2
	#yum -y install https://download.docker.com/linux/centos/7/x86_64/stable/Packages/containerd.io-1.2.6-3.3.el7.x86_64.rpm

	# yum -y install docker-ce

	# mkdir /etc/docker 创建 /etc/docker 目录

	配置 daemon：# cat > /etc/docker/daemon.json <<EOF
	{"exec-opts": ["native.cgroupdriver=systemd"],
	"registry-mirrors": ["https://v16stybc.mirror.aliyuncs.com"],
	"log-driver": "json-file",
	"log-opts": {"max-size": "100m"
	}
	}
	EOF

	# mkdir -p /etc/systemd/system/docker.service.d

	# systemctl daemon-reload && systemctl restart docker && systemctl enable docker

	# yum -y install kubeadm-1.18.0 kubectl-1.18.0 kubelet-1.18.0
	# systemctl enable kubelet.service

	# kubeadm config print init-defaults > kubeadm-config.yaml

	进行如下修改：localAPIEndpoint:
	advertiseAddress: 192.168.2.20
	···
	kubernetesVersion: v1.15.1
	···
	networking:
	podSubnet: "10.244.0.0/16"
	serviceSubnet: 10.96.0.0/12
	---
	apiVersion: kubeproxy.config.k8s.io/v1alpha1
	kind: KubeProxyConfiguration
	featureGates:
	SupportIPVSProxyMode: true
	mode: ipvs

	apiVersion: kubeadm.k8s.io/v1beta2
	bootstrapTokens:
	- groups:
	- system:bootstrappers:kubeadm:default-node-token
	token: abcdef.0123456789abcdef
	ttl: 24h0m0s
	usages:
	- signing
	- authentication
	kind: InitConfiguration
	localAPIEndpoint:
	advertiseAddress: 192.168.2.20
	bindPort: 6443
	nodeRegistration:
	criSocket: /var/run/dockershim.sock
	name: master
	taints:
	- effect: NoSchedule
	key: node-role.kubernetes.io/master
	---
	apiServer:
	timeoutForControlPlane: 4m0s
	apiVersion: kubeadm.k8s.io/v1beta2
	certificatesDir: /etc/kubernetes/pki
	clusterName: kubernetes
	controllerManager: {}
	dns:
	type: CoreDNS
	etcd:
	local:
	dataDir: /var/lib/etcd
	imageRepository: k8s.gcr.io
	kind: ClusterConfiguration
	kubernetesVersion: v1.15.1
	networking:
	dnsDomain: cluster.local
	podSubnet: "10.244.0.0/16"
	serviceSubnet: 10.96.0.0/12
	scheduler: {}
	---
	apiVersion: kubeproxy.config.k8s.io/v1alpha1
	kind: KubeProxyConfiguration
	featureGates:
	SupportIPVSProxyMode: true
	mode: ipvs

	- 安装 Master：# kubeadm init --config=kubeadm-config.yaml --upload-certs \| tee kubeadm-init.log

	- 添加 --upload-certs 参数可以在后续执行加入节点时自动分发证书文件。追加的 tee kubeadm-init.log 用以输出日志

	# mkdir -p $HOME/.kube
	# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
	# chown $(id -u):$(id -g) $HOME/.kube/config

	- 安装 flannel 网络：(官网地址：https://github.com/coreos/flannel)

	# wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

	# kubectl apply -f kube-flannel.yml

	- Node 节点加入：注意下面这条命令在安装完 Master 后会输出在屏幕上

	# kubeadm join 192.168.2.20:6443 --token abcdef.0123456789abcdef \
	--discovery-token-ca-cert-hash sha256:424676564f3a33bc1d7d9451a322613188e39dcaa004386b453794d8135adaad

	- kubectl 有很多子命令和参数，为了提高使用命令行的效率，通常建议安装 kebectl 的 bash 命令补全脚本：# source <(kubectl completion bash)
	# echo "source <(kubectl completion bash)" >> ~/.bashrc

	# cat pod.yaml

	apiVersion: v1
	kind: Pod
	metadata:
	name: nginx
	labels:
	app: web
	spec:
	containers:
	- name: nginx
	image: docker.io/nginx
	ports:
	- containerPort: 80


	# kubectl create -f pod.yaml