共计 6001 个字符,预计需要花费 16 分钟才能阅读完成。
使用 Kubeadm 部署 k8s 集群
三步装集群:离线包地址
基础环境
关闭 swap
swapoff -a
再把 /etc/fstab 文件中带有 swap 的行删了, 没有就无视
装这两工具如果没装的话
yum install -y ebtables socat
IPv4 iptables 链设置 CNI 插件需要
sysctl net.bridge.bridge-nf-call-iptables=1
墙外安装
在国内是很难使用这种方式安装了,推荐查看离线安装的方案
装 docker
yum install -y docker
systemctl enable docker && systemctl start docker
装 kubeadm kubectl kubelet
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg
https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOF
setenforce 0
yum install -y kubelet kubeadm kubectl
systemctl enable kubelet && systemctl start kubelet
关闭 SElinux
setenforce 0
cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl –system
然后与离线安装启动 master 无异, kubeadm init
离线安装
福利,我已经把所有依赖的镜像,二进制文件,配置文件都打成了包,解决您所有依赖, 花了很多时间整理这个,放在了阿里云市场上,希望大家给点小支持
离线包地址赏我一杯咖啡
这包里面把大部分操作都写在简单的脚本里面了,在 master 节点执行 init-master.sh 在 node 节点执行 init-node.sh 安装 dashboard 执行 init-dashboard.sh。
然后就可以在 node 节点执行 master 输出出来的 join 命令了。包的最大价值在于没有任何依赖了,再也不用访问不了国外某网而头疼了。
安装 kubelet 服务,和 kubeadm
下载 bin 文件 地址
把下载好的 kubelet kubectl kubeadm 直接拷贝到 /usr/bin 下面
配置 kubelet systemd 服务
cat <<EOF > /etc/systemd/system/kubelet.service
[Unit]
Description=kubelet: The Kubernetes Node Agent
Documentation=http://kubernetes.io/docs/
[Service]
ExecStart=/usr/bin/kubelet
Restart=always
StartLimitInterval=0
RestartSec=10
[Install]
WantedBy=multi-user.target
EOF
cat <<EOF > /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_SYSTEM_PODS_ARGS=--pod-manifest-path=/etc/kubernetes/manifests --allow-privileged=true"
Environment="KUBELET_NETWORK_ARGS=--network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin"
Environment="KUBELET_DNS_ARGS=--cluster-dns=10.96.0.10 --cluster-domain=cluster.local"
Environment="KUBELET_AUTHZ_ARGS=--authorization-mode=Webhook --client-ca-file=/etc/kubernetes/pki/ca.crt"
Environment="KUBELET_CADVISOR_ARGS=--cadvisor-port=0"
Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=cgroupfs"
Environment="KUBELET_CERTIFICATE_ARGS=--rotate-certificates=true --cert-dir=/var/lib/kubelet/pki"
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_SYSTEM_PODS_ARGS $KUBELET_NETWORK_ARGS $KUBELET_DNS_ARGS $KUBELET_AUTHZ_ARGS $KUBELET_CADVISOR_ARGS $KUBELET_CGROUP_ARGS $KUBELET_CERTIFICATE_ARGS $KUBELET_EXTRA_ARGS
EOF
这里需要主意的是要看一下 docker 的 cgroup driver 与 –cgroup-driver 要一致。可以用 docker info |grep Cgroup 查看,有可能是 systemd 或者 cgroupfs
增加主机名解析
为了防止无法解析主机名,修改 /etc/hosts 把主机名与 ip 的映射写上
启动 master 节点
这里得把 google 的一票镜像想办法弄下来,然而我已经打成了一个 tar 包
kubeadm init --pod-network-cidr=192.168.0.0/16 --kubernetes-version v1.8.0 --skip-preflight-checks
- –pod-network-cidr 参数安装 calico 网络时需要
- –kubernetes-version 不加的话会去请求公网查询版本信息
- –skip-preflight-checks 解决一个 kubelet 目录不空的小 bug
看到这些输出时你便成功了:
To start using your cluster, you need to run (as a regular user):
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
http://kubernetes.io/docs/admin/addons/
You can now join any number of machines by running the following on each node
as root:
kubeadm join --token <token> <master-ip>:<master-port> --discovery-token-ca-cert-hash sha256:<hash>
照着执行:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
安装 calico 网络
kubectl apply -f https://docs.projectcalico.org/v2.6/getting-started/kubernetes/installation/hosted/kubeadm/1.6/calico.yaml
join node 节点
同样到 node 节点安装 kubelet 和 kubeadm,和 master 节点操作一样,不再赘述。
然后执行 master 节点 init 输出的那个命令:
kubeadm join --token <token> <master-ip>:<master-port> --discovery-token-ca-cert-hash sha256:<hash>
执行完成后在 master 节点用 kubectl 验证节点是否健康
[root@dev-86-202 ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
dev-86-202 NotReady master 17h v1.8.1
注意,master 节点默认是不作为 node 的,也不推荐做 node 节点。如果需要把 master 当 node:
[root@dev-86-202 ~]# kubectl taint nodes --all node-role.kubernetes.io/master-
安装 dashboard
安装 dashboard 不难,使用时还真有点绕,主要是 RBAC, 先介绍个简单的
kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/master/src/deploy/alternative/kubernetes-dashboard.yaml
安装完之后, 使用 nodeport 方式访问
kubectl -n kube-system edit service kubernetes-dashboard
把 type: ClusterIP 改成 type: NodePort 然后保存
$ kubectl -n kube-system get service kubernetes-dashboard
NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes-dashboard 10.100.124.90 <nodes> 443:31707/TCP 21h
https://masterip:31707 就可以访问 dashboard 了,然而。。还不能用。
创建一个 dashboard-admin.yaml
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
name: kubernetes-dashboard
labels:
k8s-app: kubernetes-dashboard
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: cluster-admin
subjects:
- kind: ServiceAccount
name: kubernetes-dashboard
namespace: kube-system
kubectl create -f dashboard-admin.yaml
然后在界面上直接点 skip 就可以了,不过你懂的,这很不安全。真正安全的做法 请关注我进一步讨论:https://github.com/fanux
常见问题
kubelet 服务启动不了?
cgroup driver 配置要相同
查看 docker cgroup driver:
docker info|grep Cgroup
有 systemd 和 cgroupfs 两种,把 kubelet service 配置改成与 docker 一致
vim /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
KUBELET_CGROUP_ARGS=–cgroup-driver=cgroupfs #这个配置与 docker 改成一致
节点 not ready ?
建议安装 calico 网络,如果要把主节点当成 node 节点需要加个命令:
[root@dev-86-202 ~]# kubectl taint nodes --all node-role.kubernetes.io/master-
dashboard 访问不了?
如果是 NodePort 方式访问,那需要知道 dashboard 服务具体调度到哪个节点上去了。访问那个节点的 ip 而不是 master 的 ip。
不行的话把 https 改成 http 试试。
查看具体在哪个节点
kubectl get pod -n kube-system -o wide
拉取镜像失败?
可以把 node 节点与 master 节点的镜像都在每个节点 load 一下。
dashboard crash, dns 起不来?
可以把 node 节点与 master 节点的镜像都在每个节点 load 一下。
192.168 网段与 calico 网段冲突?
如果你恰好也是 192.168 网段,那么建议修改一下 calico 的网段
这样 init
kubeadm init --pod-network-cidr=192.168.122.0/24 --kubernetes-version v1.8.1
修改 calico.yaml
- name: FELIX_DEFAULTENDPOINTTOHOSTACTION
value: "ACCEPT"
# Configure the IP Pool from which Pod IPs will be chosen.
- name: CALICO_IPV4POOL_CIDR
value: "192.168.122.0/24"
- name: CALICO_IPV4POOL_IPIP
value: "always"
# Disable IPv6 on Kubernetes.
- name: FELIX_IPV6SUPPORT
value: "false"
本文永久更新链接地址:http://www.linuxidc.com/Linux/2017-10/148026.htm