kubeadm手动安装kubernetes 1.13高可用集群
 初始化集群:配置hosts文件
vim /etc/hosts

192.168.3.147test-master01

192.168.3.148test-master02

192.168.3.149test-master03

192.168.3.150test-work01

配置免密登录

ssh-keygen

ssh-copy-id test-master01

ssh-copy-id test-master02

ssh-copy-id test-master03

ssh-copy-id test-work01

设置参数

• 关闭防火墙

systemctl stop firewalldsystemctl disable firewalld

• 关闭swap

swapoff -ased -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

修改 /etc/fstab 文件，注释掉 SWAP 的自动挂载，使用free -m确认swap已经关闭。

• 关闭selinux

sed-i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinuxsetenforce0

• 配置转发相关参数，否则可能会出错

cat <<EOF > /etc/sysctl.d/k8s.confnet.bridge.bridge-nf-call-ip6tables = 1net.bridge.bridge-nf-call-iptables = 1net.ipv4.ip_forward=1net.ipv4.tcp_tw_recycle=0vm.swappiness=0vm.overcommit_memory=1vm.panic_on_oom=0fs.inotify.max_user_watches=89100fs.file-max=52706963fs.nr_open=52706963net.ipv6.conf.all.disable_ipv6=1net.netfilter.nf_conntrack_max=2310720EOFsysctl --system

以上在所有的Kubernetes节点执行命令使修改生效

• kube-proxy开启ipvs

在所有work节点执行：

cat > /etc/sysconfig/modules/ipvs.modules <<EOF#!/bin/bashmodprobe -- ip_vsmodprobe -- ip_vs_rrmodprobe -- ip_vs_wrrmodprobe -- ip_vs_shmodprobe -- nf_conntrack_ipv4EOFchmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

上面脚本创建了的/etc/sysconfig/modules/ipvs.modules文件，保证在节点重启后能自动加载所需模块。 使用lsmod | grep -e ip_vs -e nf_conntrack_ipv4命令查看是否已经正确加载所需的内核模块.接下来还需要确保各个节点上已经安装了ipset软件包yum install ipset。 为了便于查看ipvs的代理规则，最好安装一下管理工具ipvsadm yum install ipvsadm

yum install ipset -yyum install ipvsadm -y

如果以上前提条件如果不满足，则即使kube-proxy的配置开启了ipvs模式，也会退回到iptables模式

• 系统优化参数

systemctl enable ntpdate.service

echo '*/30 * * * * /usr/sbin/ntpdate time7.aliyun.com >/dev/null 2>&1'> /tmp/crontab2.tmp

crontab /tmp/crontab2.tmp

systemctl start ntpdate.service

echo "* soft nofile 65536" >> /etc/security/limits.conf

echo "* hard nofile 65536" >> /etc/security/limits.conf

echo "* soft nproc 65536"  >>/etc/security/limits.conf

echo "* hard nproc 65536"  >>/etc/security/limits.conf

echo "* soft  memlock  unlimited"  >> /etc/security/limits.conf

echo "* hard memlock unlimited"  >>/etc/security/limits.conf

 安装docker

yum install -y epel-release

yum install -y yum-utils device-mapper-persistent-data lvm2 net-tools conntrack-toolswget vim  ntpdate libseccomp libtool-ltdltelnet rsync bind-utils

yum install -y https://mirrors.aliyun.com/docker-ce/linux/centos/7/x86_64/stable/Packages/docker-ce-18.06.1.ce-3.el7.x86_64.rpm 

配置docker国内镜像:
所有节点安装docker
编辑/etc/docker/daemon.json，添加以下一行

{

"registry-mirrors":["https://registry.docker-cn.com"]

}

重启docker

systemctl daemon-reload

systemctl enable docker

systemctl start docker

注：如果使用overlay2的写法：

daemon.json

{

    "log-driver": "json-file",

    "log-opts": {

        "max-size": "100m",

        "max-file": "10"

    },

    "registry-mirrors": ["https://pqbap4ya.mirror.aliyuncs.com"],

        "storage-driver": "overlay2",

    "storage-opts":["overlay2.override_kernel_check=true"]

}

如果要使用overlay2，前提条件为使用ext4，如果使用xfs，需要格式化磁盘加上参数 mkfs.xfs -n ftype=1 /path/to/your/device ，ftype=1这个参数需要配置为1
 安装keepalived+haproxy
三台master 节点
略
VIP : 192.168.3.80
 安装 kubeadm, kubelet 和 kubectl
所有节点都执行设置yum源

cat <<EOF > /etc/yum.repos.d/kubernetes.repo

[kubernetes]

name=Kubernetes

baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/

enabled=1

gpgcheck=1

repo_gpgcheck=1

gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

EOF

安装组件

yum install -y kubelet-1.13.1 kubeadm-1.13.1 kubectl-1.13.1

开机启动

systemctl enable kubelet.service

 初始化K8S集群编辑kubeadm配置文件:
下面配置是kubeadm安装etcd写法：

cat > kubeadm-config.yaml << EOF

apiVersion: kubeadm.k8s.io/v1beta1

kind: ClusterConfiguration

kubernetesVersion: v1.13.1

apiServer:

  certSANs:

    - "192.168.3.80"

controlPlaneEndpoint: "192.168.3.80:8443"

networking:

  podSubnet: "10.50.0.0/16"

imageRepository: "harbor.oneitfarm.com/k8s-cluster-images"

EOF

​

CNI使用Calico，设置podSubnet: “10.50.0.0/16”
192.168.3.80是刚才安装haproxy+keepalived的VIP初始化第一个master

kubeadm init --config kubeadm-config.yaml

...

[root@master01 ~]# mkdir -p $HOME/.kube

[root@master01 ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

[root@master01 ~]# chown $(id -u):$(id -g) $HOME/.kube/config

安装网络插件
按官网方式：
Installing with the Kubernetes API datastore—50 nodes or less：

kubectl apply -f \

https://docs.projectcalico.org/v3.3/getting-started/kubernetes/installation/hosted/rbac-kdd.yaml

​

kubectl apply -f \

https://docs.projectcalico.org/v3.3/getting-started/kubernetes/installation/hosted/kubernetes-datastore/calico-networking/1.7/calico.yaml

以上建议先wget下来，需要根据自己网络修改配置 ：

- name: CALICO_IPV4POOL_CIDR

  value: "10.50.0.0/16"

复制相关文件到其他master节点

ssh root@master02 mkdir -p /etc/kubernetes/pki/etcd

scp /etc/kubernetes/admin.conf root@master02:/etc/kubernetes

scp /etc/kubernetes/pki/{ca.*,sa.*,front-proxy-ca.*} root@master02:/etc/kubernetes/pki

scp /etc/kubernetes/pki/etcd/ca.* root@master02:/etc/kubernetes/pki/etcd

部署master-other
在其它slave节点上执行下面命令，加入集群

kubeadm join 192.168.3.80:8443 --token pv2a9n.uh2yx1082ffpdf7n --discovery-token-ca-cert-hash sha256:872cac35b0bfec28fab8f626a727afa6529e2a63e3b7b75a3397e6412c06ebc5 --experimental-control-plane

kube-proxy开启ipvs
修改ConfigMap的kube-system/kube-proxy中的config.conf，mode: “ipvs”：

kubectl edit configmap kube-proxy -n kube-system

kubectl get pod -n kube-system | grep kube-proxy | awk '{system("kubectl delete pod "$1" -- grace-period=0 --force -n kube-system")}'

 检查测试查看kubernetes集群状态

kubectl get nodes -o wide

kubectl get cs

    NAME                 STATUS    MESSAGE              ERROR

    controller-manager   Healthy   ok

    scheduler            Healthy   ok

    etcd-0               Healthy   {"health": "true"}

查看etcd集群状态
本文通过kubeadm自动安装etcd，也就是docker方式安装的etcd,可以exec进去容器内检查：

kubectl exec -ti -n kube-system etcd-an-master01 sh

/ # export ETCDCTL_API=3

/ # etcdctl --endpoints=https://[127.0.0.1]:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/healthcheck-client.crt --key=/etc/kubernetes/pki/etcd/healthcheck-client.key member list

安装失败清理集群
集群初始化如果遇到问题，可以使用下面的命令进行清理：

kubeadm reset

systemctl stop kubelet

systemctl stop docker

rm -rf /var/lib/cni/

rm -rf /var/lib/kubelet/*

rm -rf /etc/cni/

ifconfig cni0 down

ifconfig flannel.1 down

ifconfig docker0 down

ip link delete cni0

ip link delete flannel.1

systemctl start docker

 设置资源调度
使用kubeadm初始化的集群，出于安全考虑Pod不会被调度到Master Node上，也就是说Master Node不参与工作负载。这是因为当前的master节点被打上了node-role.kubernetes.io/master:NoSchedule的污点：

kubectl describe node master01 | grep Taint

Taints:             node-role.kubernetes.io/master:NoSchedule

检查join进集群的master和work节点，如果调度不对，可以通过如下方式设置：

[root@an-master01 ~]# kubectl get nodes

NAME          STATUS   ROLES    AGE     VERSION

an-master01   Ready    master   4h39m   v1.13.1

an-master02   Ready    <none>   4h32m   v1.13.1

an-master03   Ready    master   86m     v1.13.1

an-work01     Ready    <none>   85m     v1.13.1

​

查看当前状态：

kubectl describe nodes/an-master02 |grep -E '(Roles|Taints)'

Roles:              <none>

Taints:             <none>

​

设置为master节点且不调度：

kubectl label node an-master02 node-role.kubernetes.io/master=

kubectl taint nodes an-master02 node-role.kubernetes.io/master=:NoSchedule

如果想去除限制的话：

kubectl taint nodes an-master03 node-role.kubernetes.io/master-

​

work节点设置：

kubectl label node an-work01 node-role.kubernetes.io/work=

kubectl describe nodes/an-work01 |grep -E '(Roles|Taints)'

Roles:              work

Taints:             <none>

 

【前言】
 
    2019年是互联网寒冬几乎成为不争的事实，在寒冬下，往往会暴露出很多被掩盖的事实，就像下面这个案例，看完之后，深有感触。

 
作为运维工程师，坚持学习才是寒冬中的生存之道。Kubernetes的浪潮已经来了，不管我们是否愿意，生产中是否使用，Kubernetes已经不知不觉成为运维必备技能。本文介绍Kubernetes架构，作为入门的第一篇文章。    
 
Kubernetes介绍
    Kubernetes源于希腊语，意为“舵手”或“飞行员”，是用于自动部署，扩展和管理容器化应用程序的开源系统，由于K和S之间有8个字母，被简称为K8S。Kubernetes构建在Google 15年生产环境经验基础之上，可以将Kubernetes看作为Google内部的容器管理平台Borg和Omega的开源版本，当然他们之间是有一些差异的。
 
Kubernetes系统架构
    Kubernetes被设计为Master和Node两个角色，Master为控制节点，Node为计算节点或者叫工作节点，在Master节点上有一个API Server服务，对外提供标准的RestAPI，这也是Kubernetes集群的入口，意外着只要和集群进行交互必须连接到API Server上。

 
Master节点介绍
Kubernetes Master节点主要有4个组件，API Server、Scheduler、Controller、etcd。如下图所示：

• API Server：提供Kubernetes API接口，主要处理Rest操作以及更新Etcd中的对象。是所有资源增删改查的唯一入口。
• Scheduler：绑定Pod到Node上，主要做资源调度。
• Controller Manager：所有其他群集级别的功能，目前由控制器Manager执行。资源对象的自动化控制中心，Kubernetes集群有很多控制器。
• Etcd：所有持久化的状态信息存储在Etcd中，这个是Kubernetes集群的数据库。

 Node节点介绍Node节点是Kubernetes集群的工作节点，在Node节点上主要运行了Docker、Kubelet、kube-proxy三个服务（Fluentd请先忽略），如下图所示：

• Docker Engine：负责节点的容器的管理工作，最终创建出来的是一个Docker容器。
• Kubelet：安装在Node上的代理服务，和API Server进行通信，用来管理Pods以及容器、镜像、Volume等，实现对集群对节点的管理。
• Kube-proxy：安装在Node上的网络代理服务，提供网络代理以及负载均衡，实现与Service通讯。

 Kubernetes逻辑架构在上面的介绍中提到像Pod、Service这些概念，在Kubernetes的系统架构图中并没有体现出来，这些可以理解为Kubernetes逻辑架构中的组件。也就是在Master和Node上并不具体存在的一个服务或者进程，但却是Kubernetes的组件，也是我们的管理对象。主要有Pod、Service和各种控制器等。 PodPod是Kubernetes的最小管理单元，一个Pod可以包含一组容器和卷。虽然一个Pod里面可以包含一个或者多个容器，但是Pod只有一个IP地址，而且Pod重启后，IP地址会发生变化。

 Controller一个应用如果可以有一个或者多个Pod，就像你给某一个应用做集群，集群中的所有Pod是一模一样的。Kubernetes中有很多控制器可以来管理Pod，例如下图的Replication Controller可以控制Pod的副本数量，从而实现横向扩展。

 Kubernetes中有很多控制器，后面的章节我们会逐步讲到，常用的控制器如下：

• Replication Controller（新版本已经被ReplicaSet所替代）
• ReplicaSet（新版本被封装在Deployment中）
• Deployment：封装了Pod的副本管理、部署更新、回滚、扩容、缩容等功能。
• DaemonSet：保证所有的Node上有且只有一个Pod在运行。
• StatefulSet：有状态的应用，为Pod提供唯一的标识，它可以保证部署和scale的顺序。
• Job：使用Kubernetes运行单一任务。
• CronJob：使用Kubernetes运行定时任务。

Service
由于Pod的生命周期是短暂的，而且每次重启Pod的IP地址都会发生变化，而且一个Pod有多个副本，也就是说一个集群中有了多个节点，就需要考虑负载均衡的问题。Kubernetes使用Service来实现Pod的访问，而且Service有一个Cluster IP，通常也称之为VIP，是固定不变的。

 
Kubernetes网络介绍
在Kubernetes集群中存在着三种网络，分别是Node网络、Pod网络和Service网络，这几种网络之间的通信需要依靠网络插件，Kubernetes本身并没有提供，社区提供了像Flannel、Calico、Canal等，后面章节会详述。
Node网络
Node网络指的是Kubernetes Node节点本地的网络，在本实验环境中使用的是192.168.56.0/24这个网段，所有的Node和Master在该网段都可以正常通信。
Pod网络
后面创建的Pod，每一个Pod都会有一个IP地址，这个IP地址网络段被称之为Pod网络，如下图所示。

[root@linux-node1 ~]# kubectl get pod -o wide

NAME                     READY   STATUS    RESTARTS   AGE     IP         NODE                       NOMINATED NODE   READINESS GATES

nginx-54458cd494-hpn68   1/1     Running   0          9m7s    10.2.1.2   linux-node2.linuxhot.com   <none>           <none>

nginx-54458cd494-r4mfq   1/1     Running   0          7m46s   10.2.1.3   linux-node2.linuxhot.com   <none>           <none>

 
Service网络
Service是为Pod提供访问和负载均衡的网络地址段，如下图所示。

 [root@linux-node1 ~]# kubectl get service

NAME         TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)        AGE

kubernetes   ClusterIP   10.1.0.1      <none>        443/TCP        64m

nginx        NodePort    10.1.216.23   <none>        80:30893/TCP   8m3s

Kubernetes的组件和知识绝非如此，快速入门可以先了解这么多，下一章节，我们先快速的部署一个Kubernetes集群。
 
来新运维社区分享知识！
 
    欢迎来新运维社区分享你的原创文章、博文、理念或者是对运维工程师有帮助的任何知识，如要加入K8S中国交流群，请添加新运维-小助手，备注：姓名-K8S。
（无备注不予处理，请理解！）


【小助手微信】
 
- END -
 
 
加入新运维社区，开启新征程！       
 
牛人并不可怕，可怕的是牛人比我们还努力！