前言本篇文档是 Kubernetes 1.13 单节点模式搭建文档, 采用 kubeadm 方式安装 Kubernetes 版本发行查阅地址 : 欢迎加入 K8S 高级运维技术交流群 QQ 群号 :3

Size: px

Start display at page:

Download "前言本篇文档是 Kubernetes 1.13 单节点模式搭建文档, 采用 kubeadm 方式安装 Kubernetes 版本发行查阅地址 : 欢迎加入 K8S 高级运维技术交流群 QQ 群号 :3"

画芷克明
4 years ago
Views:

前言本篇文档是 Kubernetes 1.13 单节点模式搭建文档, 采用 kubeadm 方式安装 Kubernetes 版本发行查阅地址 :https://github.com/kubernetes/kubernetes/releases 欢迎加入 K8S 高级运维技术交流群 QQ 群号 :344256452 一实践环境准备 1.

1 前言本篇文档是 Kubernetes 1.13 单节点模式搭建文档, 采用 kubeadm 方式安装 Kubernetes 版本发行查阅地址 : 欢迎加入 K8S 高级运维技术交流群 QQ 群号 : 一实践环境准备 1. 服务器虚拟机准备 IP 地址节点角色 CPU Memory Hostname master and etcd >=2c >=2G master worker >=2c >=2G node 本实验我这里用的 VM 是 vmware workstation 创建的, 每个给了 4C 4G 100GB 配置, 大家根据自己的资源情况, 按照上面给的建议最低值创建即可注意 :hostname 不能有大写字母, 比如 Master 这样 2. 软件版本系统类型 Kubernetes 版本 docker 版本 kubeadm 版本 kubectl 版本 kubelet 版本 CentOS v ce v1.13 v1.13 v1.13 注意 : 这里采用的软件版本, 请大家严格与我保持一致! 开源软件, 版本非常敏感和重要! 3. 环境初始化操作 3.1 配置 hostname 1 $ hostnamectl set hostname master 2 $ hostnamectl set hostname node 每台机器上设置对应好 hostname, 注意, 不能有大写字母! 3.2 配置 /etc/hosts 注意,hosts 文件非常重要, 请在每个节点上执行 : 1 cat <<EOF > /etc/hosts localhost localhost.localdomain localhost4 localhost4.localdomain4 3 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain master

2 node 6 EOF 3.3 关闭防火墙 selinux swap 1 # 停防火墙 2 $ systemctl stop firewalld 3 $ systemctl disable firewalld 1 # 关闭 Selinux 2 $ setenforce 0 3 $ sed i "s/^selinux=enforcing/selinux=disabled/g" /etc/sysconfig/selinux 4 $ sed i "s/^selinux=enforcing/selinux=disabled/g" /etc/selinux/config 5 $ sed i "s/^selinux=permissive/selinux=disabled/g" /etc/sysconfig/selinux 6 $ sed i "s/^selinux=permissive/selinux=disabled/g" /etc/selinux/config 1 # 关闭 Swap 2 $ swapoff a 3 $ sed i 's/.*swap.*/#&/' /etc/fstab 1 # 加载 br_netfilter 2 $ modprobe br_netfilter 3.4 配置内核参数 1 # 配置 sysctl 内核参数 2 cat > /etc/sysctl.d/k8s.conf <<EOF 3 net.bridge.bridge nf call ip6tables = 1 4 net.bridge.bridge nf call iptables = 1 5 EOF 1 # 生效文件 2 $ sysctl p /etc/sysctl.d/k8s.conf 1 # 修改 Linux 资源配置文件, 调高 ulimit 最大打开数和 systemctl 管理的服务文件最大打开数 2 $ echo "* soft nofile " >> /etc/security/limits.conf 3 $ echo "* hard nofile " >> /etc/security/limits.conf 4 $ echo "* soft nproc " >> /etc/security/limits.conf 5 $ echo "* hard nproc " >> /etc/security/limits.conf 6 $ echo "* soft memlock unlimited" >> /etc/security/limits.conf 7 $ echo "* hard memlock unlimited" >> /etc/security/limits.conf 8 $ echo "DefaultLimitNOFILE= " >> /etc/systemd/system.conf 9 $ echo "DefaultLimitNPROC= " >> /etc/systemd/system.conf 4. 配置 CentOS YUM 源 1 # 配置国内 tencent yum 源地址 epel 源地址 k8s 源地址 2 $ yum install y wget 3 $ rm rf /etc/yum.repos.d/* 4 $ wget O /etc/yum.repos.d/centos Base.repo 5 $ wget O /etc/yum.repos.d/epel.repo 7.repo 6 $ yum clean all && yum makecache 1 # 配置国内 K8S 源地址 2 cat <<EOF > /etc/yum.repos.d/kubernetes.repo 3 [kubernetes] 4 name=kubernetes 5 baseurl= el7 x86_64/ 6 enabled=1

7 gpgcheck=1 8 repo_gpgcheck=1 9 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm p ackage key.gpg 10 EOF 5.

3 7 gpgcheck=1 8 repo_gpgcheck=1 9 gpgkey= key.gpg p ackage key.gpg 10 EOF 5. 安装依赖软件包有些依赖包我们要把它安装上, 方便到时候使用 1 $ yum install y conntrack ipvsadm ipset jq sysstat curl iptables libseccomp bash completion yum utils device mapper persistent data lvm2 net tools conntrack tools vim libtool ltdl 6. 时间同步配置 K8S 是分布式的, 各个节点系统时间需要同步对应上 1 $ yum install chrony y 2 $ systemctl enable chronyd.service && systemctl start chronyd.service && systemctl status chronyd.service 3 $ chronyc sources 运行 date 命令看下系统时间, 过一会儿时间就会同步 7. 配置节点间 ssh 互信配置 ssh 互信, 那么节点之间就能无密访问, 方便日后执行自动化部署 1 $ ssh keygen # 每台机器执行这个命令, 一路回车即可 2 $ ssh copy id node # 到 master 上拷贝公钥到其他节点, 这里需要输入 yes 和密码 8. 初始化环境配置检查 - 重启, 做完以上所有操作, 最好 reboot 重启一遍 - ping 每个节点 hostname 看是否能 ping 通 - ssh 对方 hostname 看互信是否无密码访问成功 - 执行 date 命令查看每个节点时间是否正确 - 执行 ulimit -Hn 看下最大文件打开数是否是 cat /etc/sysconfig/selinux grep disabled 查看下每个节点 selinux 是否都是 disabled 状态二 docker 安装 K8S 是容器调度编排 PAAS 平台, 那么 docker 是必不可少要安装的最新 k8s 1.13 支持最新的 docker 版本是 , 那么我们就安装最新的 docker-ce 具体 k8s changelog 文档地址 : 1. remove 旧版本 docker 1 $ yum remove y docker docker ce docker common docker selinux docker engine

4 2. 设置 docker yum 源 1 $ yum config manager add repo ce.repo 3. 列出 docker 版本 1 $ yum list docker ce showduplicates sort r 4. 安装 docker 指定 $ yum install y docker ce ce 3.el7 5. 配置镜像加速器和 docker 数据存放路径 1 tee /etc/docker/daemon.json << 'EOF' 2 { 3 "registry mirrors": [" 4 "graph": "/tol/docker data" 5 } 6 EOF 6. 启动 docker 1 $ systemctl daemon reload && systemctl restart docker && systemctl enable docker && systemctl status docker 2 # 查看 docker 版本 3 $ docker version 三安装 kubeadm kubelet kubectl 这一步是所有节点都得安装 ( 包括 node 节点 ) 1. 工具说明 kubeadm: 部署集群用的命令 kubelet: 在集群中每台机器上都要运行的组件, 负责管理 pod 容器的生命周期 kubectl: 集群管理工具 2. yum 安装 1 # 安装工具 2 $ yum install y kubelet kubeadm kubectl disableexcludes=kubernetes 1 # 启动 kubelet 2 $ systemctl enable kubelet && systemctl start kubelet 注意 :kubelet 服务会暂时启动不了, 先不用管它四镜像下载准备 1. 初始化获取要下载的镜像列表

使用 kubeadm 来搭建 K8S, 那么就需要下载得到 K8S 运行的对应基础镜像, 比如 :kube-proxy kube-apiserver kube-controller-manager 等等那么有什么方法可以得知要下载哪些镜像呢? 从 kubeadm v1.

这个列表显示的 tag 名字和镜像版本号, 从 k8s v1.12+ 开始, 镜像名后面不带 amd64, arm, arm64, ppc64le 这样的标识了 1.1 生成默认 kubeadm.conf 文件 1 # 执行这个命令就生成了一个 kubeadm.

$io 下载镜像, 如果你没有科学上网, 那么就会下载不来因此, 我们通过下面的方法把地址改成国内的, 比如用阿里云的 : 1 $ sed i "s/imagerepository:.*/imagerepository: registry.aliyuncs.com\/google_containers/g" kubeadm.conf 1.$

5 使用 kubeadm 来搭建 K8S, 那么就需要下载得到 K8S 运行的对应基础镜像, 比如 :kube-proxy kube-apiserver kube-controller-manager 等等那么有什么方法可以得知要下载哪些镜像呢? 从 kubeadm v1.11+ 版本开始, 增加了一个 kubeadm config print-default 命令, 可以让我们方便的将 kubeadm 的默认配置输出到文件中, 这个文件里就包含了搭建 K8S 对应版本需要的基础配置环境另外, 我们也可以执行 kubeadm config images list 命令查看依赖需要安装的镜像列表注意 : 这个列表显示的 tag 名字和镜像版本号, 从 k8s v1.12+ 开始, 镜像名后面不带 amd64, arm, arm64, ppc64le 这样的标识了 1.1 生成默认 kubeadm.conf 文件 1 # 执行这个命令就生成了一个 kubeadm.conf 文件 2 $ kubeadm config print init defaults > kubeadm.conf 1.2 绕过墙下载镜像方法注意这个配置文件默认会从 google 的镜像仓库地址 k8s.gcr.io 下载镜像, 如果你没有科学上网, 那么就会下载不来因此, 我们通过下面的方法把地址改成国内的, 比如用阿里云的 : 1 $ sed i "s/imagerepository:.*/imagerepository: registry.aliyuncs.com\/google_containers/g" kubeadm.conf 1.3 指定 kubeadm 安装的 K8S 版本我们这次要安装的 K8S 版本是最新的 v1.13, 所以我们要修改下 : 1 $ sed i "s/kubernetesversion:.*/kubernetesversion: v1.13.0/g" kubeadm.conf 1.4 下载需要用到的镜像 kubeadm.conf 修改好后, 我们执行下面命令就可以自动从国内下载需要用到的镜像了 : 1 $ kubeadm config images pull config kubeadm.conf 自动下载 v1.13 需要用到的镜像, 执行 docker images 可以看到下载好的镜像列表 :

6 注 : 除了上面的方法, 还有一种方式是搭建自己的镜像仓库不过前提你得下载好对应的版本镜像, 然后上传到你镜像仓库里, 然后 pull 下载 1.5 docker tag 镜像镜像下载好后, 我们还需要 tag 下载好的镜像, 让下载好的镜像都是带有 k8s.gcr.io 标识的, 目前我们从阿里下载的镜像标识都是, 如果不打 tag 变成 k8s.gcr.io, 那么后面用 kubeadm 安装会出现问题, 因为 kubeadm 里面只认 google 自身的模式我们执行下面命令即可完成 tag 标识更换 : 1 $ docker tag registry.aliyuncs.com/google_containers/kube apiserver:v k8s.gcr.io/kube apiserver:v $ docker tag registry.aliyuncs.com/google_containers/kube controller manager:v k8s.gcr.io/kube controller mana ger:v $ docker tag registry.aliyuncs.com/google_containers/kube scheduler:v k8s.gcr.io/kube scheduler:v $ docker tag registry.aliyuncs.com/google_containers/kube proxy:v k8s.gcr.io/kube proxy:v $ docker tag registry.aliyuncs.com/google_containers/pause:3.1 k8s.gcr.io/pause:3.1 6 $ docker tag registry.aliyuncs.com/google_containers/etcd: k8s.gcr.io/etcd: $ docker tag registry.aliyuncs.com/google_containers/coredns:1.2.6 k8s.gcr.io/coredns: docker rmi 清理下载的镜像执行完上面 tag 镜像的命令, 我们还需要把带有 registry.aliyuncs.com 标识的镜像删除, 执行 : 1 $ docker rmi registry.aliyuncs.com/google_containers/kube apiserver:v $ docker rmi registry.aliyuncs.com/google_containers/kube controller manager:v $ docker rmi registry.aliyuncs.com/google_containers/kube scheduler:v $ docker rmi registry.aliyuncs.com/google_containers/kube proxy:v $ docker rmi registry.aliyuncs.com/google_containers/pause:3.1 6 $ docker rmi registry.aliyuncs.com/google_containers/etcd: $ docker rmi registry.aliyuncs.com/google_containers/coredns: 查看下载的镜像列表执行 docker images 命令, 即可查看到, 这里结果如下, 您下载处理后, 结果需要跟这里的一致 : 注 : 以上操作其实可以写到一个脚本里, 然后自动处理另外两个 master 节点, 重复上面的操作下载即可五部署 master 节点 1. kubeadm init 初始化 master 节点 1 $ kubeadm init kubernetes version=v pod network cidr= /16 apiserver advertise address= 这里我们定义 POD 的网段为 : /16, 然后 api server 地址就是 master 本机 IP 地址

r9svwuj78jc3px43 --discovery-token-ca-cert-hash

7 2. 初始化成功后,/etc/kubernetes/ 会生成下面文件 3. 同时最后会生成一句话 kubeadm join : token zs4s82.r9svwuj78jc3px43 --discovery-token-ca-cert-hash sha256: d23b3e8d33ff1d81e903fac16fe6c c709e3bf0ce051ae8 这个我们记录下, 到时候添加 node 的时候要用到 4. 验证测试配置 kubectl 命令 1 $ mkdir p /root/.kube 2 $ cp /etc/kubernetes/admin.conf /root/.kube/config 执行获取 pods 列表命令, 查看相关状态 1 $ kubectl get pods all namespaces 其中 coredns pod 处于 Pending 状态, 这个先不管我们也可以执行 kubectl get cs 查看集群的健康状态 :

六部署 calico 网络 ( 在 master 上执行 ) calico 介绍 :Calico 是一个纯三层的方案, 其好处是它整合了各种云原生平台 (Docker Mesos 与 OpenStack 等 ), 每个 Kubernetes 节点上通过 Linux Kernel 现有的 L3 forwarding 功能来实现 vrouter 功能 1.

8 六部署 calico 网络 ( 在 master 上执行 ) calico 介绍 :Calico 是一个纯三层的方案, 其好处是它整合了各种云原生平台 (Docker Mesos 与 OpenStack 等 ), 每个 Kubernetes 节点上通过 Linux Kernel 现有的 L3 forwarding 功能来实现 vrouter 功能 1. 下载 calico 官方镜像我们这里要下载三个镜像, 分别是 calico-node:v3.1.4 calico-cni:v3.1.4 calico-typha:v3.1.4 直接运行 docker pull 下载即可 1 $ docker pull calico/node:v $ docker pull calico/cni:v $ docker pull calico/typha:v tag 这三个 calico 镜像 1 $ docker tag calico/node:v3.1.4 quay.io/calico/node:v $ docker tag calico/cni:v3.1.4 quay.io/calico/cni:v $ docker tag calico/typha:v3.1.4 quay.io/calico/typha:v 删除原有镜像 1 $ docker rmi calico/node:v $ docker rmi calico/cni:v $ docker rmi calico/typha:v 部署 calico 4.1 下载执行 rbac-kdd.yaml 文件 1 $ curl started/kubernetes/installation/hosted/rbac kdd.yaml O 2 $ kubectl apply f rbac kdd.yaml 4.2 下载配置 calico.yaml 文件 1 $ curl started/kubernetes/installation/hosted/kubernetes datastore/polic y only/1.7/calico.yaml O 把 ConfigMap 下的 typha_service_name 值由 none 变成 calico-typha 设置 Deployment 类目的 spec 下的 replicas 值

我们这里设置为 1 4.3 定义 POD 网段我们找到 CALICO_IPV4POOL_CIDR, 然后值修改成之前定义好的 POD 网段, 我这里是 172.22.0.0/16 4.

yaml 文件上面参数设置调优完毕, 我们执行下面命令彻底部署 calico 1 $ kubectl apply f calico.

9 我们这里设置为定义 POD 网段我们找到 CALICO_IPV4POOL_CIDR, 然后值修改成之前定义好的 POD 网段, 我这里是 / 开启 bird 模式把 CALICO_NETWORKING_BACKEND 值设置为 bird, 这个值是设置 BGP 网络后端模式 4.5 部署 calico.yaml 文件上面参数设置调优完毕, 我们执行下面命令彻底部署 calico 1 $ kubectl apply f calico.yaml 查看状态 1 $ kubectl get pods all namespaces 这里 calico-typha 没起来, 那是因为我们的 node 计算节点还没启动和安装七部署 node 节点 1. 下载安装镜像 ( 在 node 上执行 ) node 上也是需要下载安装一些镜像的, 需要下载的镜像为 :kube-proxy:v1.13 pause:3.1 calico-node:v3.1.4 calico-cni:v3.1.4 calico-typha:v 下载镜像

1 $ docker pull registry.aliyuncs.com/google_containers/kube proxy:v1.13.0 2 $ docker pull registry.aliyuncs.com/google_containers/pause:3.1 3 $ docker pull calico/node:v3.1.4 4 $ docker pull calico/cni:v3.

1 k8s.gcr.io/pause:3.1 3 $ docker tag calico/node:v3.1.4 quay.io/calico/node:v3.1.4 4 $ docker tag calico/cni:v3.1.4 quay.io/calico/cni:v3.1.4 5 $ docker tag calico/typha:v3.1.4 quay.io/calico/typha:v3.

10 1 $ docker pull registry.aliyuncs.com/google_containers/kube proxy:v $ docker pull registry.aliyuncs.com/google_containers/pause:3.1 3 $ docker pull calico/node:v $ docker pull calico/cni:v $ docker pull calico/typha:v $ docker tag registry.aliyuncs.com/google_containers/kube proxy:v k8s.gcr.io/kube proxy:v $ docker tag registry.aliyuncs.com/google_containers/pause:3.1 k8s.gcr.io/pause:3.1 3 $ docker tag calico/node:v3.1.4 quay.io/calico/node:v $ docker tag calico/cni:v3.1.4 quay.io/calico/cni:v $ docker tag calico/typha:v3.1.4 quay.io/calico/typha:v $ docker rmi registry.aliyuncs.com/google_containers/kube proxy:v $ docker rmi registry.aliyuncs.com/google_containers/pause:3.1 3 $ docker rmi calico/node:v $ docker rmi calico/cni:v $ docker rmi calico/typha:v 把 node 加入集群里加 node 计算节点非常简单, 在 node 上运行 : 1 kubeadm join :6443 token zs4s82.r9svwuj78jc3px43 discovery token ca cert hash sha256: d23b3e8 d33ff1d81e903fac16fe6c c709e3bf0ce051ae8 两个节点运行的参数命令一样, 运行完后, 我们在 master 节点上运行 kubectl get nodes 命令查看 node 是否正常到此, 集群的搭建完成了 90%, 剩下一个是搭建 dashboard 八部署 dashboard 部署 dashboard 之前, 我们需要生成证书, 不然后面会 https 访问登录不了 1. 生成私钥和证书签名请求 1 $ mkdir p /etc/kubernetes/certs 2 $ cd /etc/kubernetes/certs 3 $ openssl genrsa des3 passout pass:x out dashboard.pass.key $ openssl rsa passin pass:x in dashboard.pass.key out dashboard.key

删除刚才生成的 dashboard.pass.key 1 $ rm rf dashboard.pass.key 2 $ openssl req new key dashboard.key out dashboard.csr 生成了 dashboard.csr 生成 SSL 证书 1 $ openssl x509 req sha256 days 365 in dashboard.

key 私钥的证书创建 secret 1 $ kubectl create secret generic kubernetes dashboard certs from file=/etc/kubernetes/certs n kube system 注意 /etc/kubernetes/certs 是之前创建 crt csr key 证书文件存放的路径 2.

11 删除刚才生成的 dashboard.pass.key 1 $ rm rf dashboard.pass.key 2 $ openssl req new key dashboard.key out dashboard.csr 生成了 dashboard.csr 生成 SSL 证书 1 $ openssl x509 req sha256 days 365 in dashboard.csr signkey dashboard.key out dashboard.crt dashboard.crt 文件是适用于仪表板和 dashboard.key 私钥的证书创建 secret 1 $ kubectl create secret generic kubernetes dashboard certs from file=/etc/kubernetes/certs n kube system 注意 /etc/kubernetes/certs 是之前创建 crt csr key 证书文件存放的路径 2. 下载 dashboard 镜像 tag 镜像 ( 在全部节点上 ) 1 $ docker pull registry.cn hangzhou.aliyuncs.com/kubernete/kubernetes dashboard amd64:v $ docker tag registry.cn hangzhou.aliyuncs.com/kubernete/kubernetes dashboard amd64:v k8s.gcr.io/kubernetes da shboard:v $ docker rmi registry.cn hangzhou.aliyuncs.com/kubernete/kubernetes dashboard amd64:v 下载 kubernetes-dashboard.yaml 部署文件 ( 在 master 上执行, 注意 : 开源软件地址可能随时变, 如果 yaml 文件下载找不到, 请 google 搜文件名字再找新地址 ) 1 curl dashboard.yaml O 修改 kubernetes-dashboard-amd64:v 为 kubernetes-dashboard:v1.10.0, 不然会去墙外下载 dashboard 镜像 1 $ sed i "s/kubernetes dashboard amd64:v1.10.0/kubernetes dashboard:v1.10.0/g" kubernetes dashboard.yaml

3. 把 Secret 注释因为上面我们已经生成了密钥认证了, 我们用我们自己生成的 4.

查看服务运行情况 1 $ kubectl get deployment kubernetes dashboard n

12 3. 把 Secret 注释因为上面我们已经生成了密钥认证了, 我们用我们自己生成的 4. 配置 443 端口映射到外部主机上 5. 创建 dashboard 的 pod 1 $ kubectl create f kubernetes dashboard.yaml 6. 查看服务运行情况 1 $ kubectl get deployment kubernetes dashboard n kube system 2 $ kubectl namespace kube system get pods o wide 3 $ kubectl get services kubernetes dashboard n kube system 4 $ netstat ntlp grep 30005

roleref: 8 apigroup: rbac.authorization.k8s.

13 7. Dashboard BUG 处理 1 $ vim kube dashboard access.yaml 添加下面内容 : 1 apiversion: rbac.authorization.k8s.io/v1beta1 2 kind: ClusterRoleBinding 3 metadata: 4 name: kubernetes dashboard 5 labels: 6 k8s app: kubernetes dashboard 7 roleref: 8 apigroup: rbac.authorization.k8s.io 9 kind: ClusterRole 10 name: cluster admin 11 subjects: 12 kind: ServiceAccount 13 name: kubernetes dashboard 14 namespace: kube system 执行让 kube-dashboard-access.yaml 生效 1 $ kubectl create f kube dashboard access.yaml 然后重新登录界面刷新下, 这个问题即可解决

Kubenetes 系列列公开课 2 每周四晚 8 点档 1. Kubernetes 初探 2. 上手 Kubernetes 3. Kubernetes 的资源调度 4. Kubernetes 的运行行时 5. Kubernetes 的网络管理理 6. Kubernetes 的存储管理理 7.

Kubernetes 包管理理工具 Helm 蔺礼强 Kubenetes 系列列公开课 2 每周四晚 8 点档 1. Kubernetes 初探 2. 上手 Kubernetes 3. Kubernetes 的资源调度 4. Kubernetes 的运行行时 5. Kubernetes 的网络管理理 6. Kubernetes 的存储管理理 7. Kubernetes

前言 本篇文档是 Kubernetes 1.13 单节点模式搭建文档, 采用 kubeadm 方式安装 Kubernetes 版本发行查阅地址 : 欢迎加入 K8S 高级运维技术交流群 QQ 群号 :3

前言本篇文档是 Kubernetes 1.13 单节点模式搭建文档, 采用 kubeadm 方式安装 Kubernetes 版本发行查阅地址 : 欢迎加入 K8S 高级运维技术交流群 QQ 群号 :3