答案:部署kubernetes前需准备操作系统、硬件资源、禁用Swap、配置网络和容器运行时。具体包括更新系统、关闭Swap和防火墙、设置内核参数、安装containerd并配置systemd驱动,确保节点间通信及固定IP,为后续集群初始化奠定基础。
在linux系统上安装和配置Kubernetes,本质上是为了构建一个能高效管理容器化应用的平台。这个过程通常涉及对操作系统进行一系列预备性调整,然后利用像kubeadm这样的工具来初始化集群的主控节点,接着将工作节点加入其中,并最终部署一个网络插件来打通容器间的通信。它能够极大简化容器化应用的部署、扩展和运维工作,是现代云原生架构中不可或缺的核心组成部分。
解决方案
部署Kubernetes集群,我个人倾向于使用
kubeadm
工具,它提供了一种快速且相对标准化的方式来搭建一个功能完备的集群。以下是我认为最直接、最实用的步骤:
1. 准备工作: 在所有节点(包括主控节点和工作节点)上执行以下操作:
-
更新系统并安装必要的工具:
-
禁用Swap: Kubernetes对Swap的支持并不友好,因为它可能导致性能问题。
sudo swapoff -a sudo sed -i '/ swap / s/^(.*)$/#1/g' /etc/fstab
-
配置内核参数: 允许
br_netfilter
模块截获桥接流量,这是网络插件正常工作的基础。
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf br_netfilter EOF cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_forward = 1 EOF sudo sysctl --system
-
禁用SELinux (CentOS/RHEL):
sudo setenforce 0 sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
-
安装容器运行时(Container Runtime): Kubernetes需要一个容器运行时来运行容器。
containerd
是目前推荐的选择。
对于Containerd:
# 安装依赖 sudo apt install -y apt-transport-https ca-certificates curl gnupg lsb-release # Debian/Ubuntu sudo yum install -y yum-utils device-mapper-persistent-data lvm2 # CentOS/RHEL # 添加docker的官方GPG密钥 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg # Debian/Ubuntu sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo # CentOS/RHEL # 添加Docker仓库 (Containerd通常随Docker一起安装或单独安装) echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null # Debian/Ubuntu sudo apt update # Debian/Ubuntu sudo apt install -y containerd.io # Debian/Ubuntu sudo yum install -y containerd.io # CentOS/RHEL # 配置containerd sudo mkdir -p /etc/containerd sudo containerd config default | sudo tee /etc/containerd/config.toml sudo sed -i 's/SystemdCgroup = false/SystemdCgroup = true/g' /etc/containerd/config.toml # 关键一步:使用systemd作为cgroup驱动 sudo systemctl restart containerd sudo systemctl enable containerd
2. 安装kubeadm, kubelet, kubectl: 在所有节点上执行:
-
添加Kubernetes apt/yum仓库:Debian/Ubuntu:
sudo apt update sudo apt install -y apt-transport-https ca-certificates curl curl -fsSL https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /usr/share/keyrings/kubernetes-archive-keyring.gpg echo "deb [signed-by=/usr/share/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list sudo apt update
CentOS/RHEL:
cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-$basearch enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg exclude=kubelet kubeadm kubectl EOF sudo yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes
-
安装kubelet, kubeadm, kubectl:
sudo apt install -y kubelet kubeadm kubectl sudo apt-mark hold kubelet kubeadm kubectl # 阻止自动更新 sudo systemctl enable --now kubelet
3. 初始化主控节点 (仅在主控节点上执行): 选择一个主控节点,并执行
kubeadm init
。这里我通常会指定一个Pod网络CIDR,因为它与后续安装的网络插件相关。
sudo kubeadm init --pod-network-cidr=10.244.0.0/16 --apiserver-advertise-address=<你的主控节点IP>
这个命令会输出一些重要的信息,包括如何配置
kubectl
以及如何让工作节点加入集群的命令。务必保存好这些信息。
4. 配置kubectl (仅在主控节点上执行): 按照
kubeadm init
命令的输出,配置当前用户的
kubectl
环境。
mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config
5. 部署网络插件 (仅在主控节点上执行): 集群初始化后,Pod之间还无法通信,因为缺少网络插件。我个人比较喜欢Calico,因为它功能强大且稳定。
kubectl apply -f https://raw.githubusercontent.com/projectcalico/calico/v3.25.0/manifests/calico.yaml
(请注意,Calico的版本号可能需要根据实际情况调整,通常我会去Calico的github仓库查看最新的稳定版本。)
6. 加入工作节点 (在每个工作节点上执行): 使用
kubeadm init
命令输出的
kubeadm join
命令将工作节点加入集群。
sudo kubeadm join <主控节点IP>:<端口> --Token <token> --discovery-token-ca-cert-hash sha256:<hash>
如果token过期,可以使用
kubeadm token create --print-join-command
在主控节点重新生成。
至此,一个基本的Kubernetes集群就搭建完成了。
在部署Kubernetes之前,我需要做哪些准备工作?
坦白说,很多初学者在部署Kubernetes时,往往会忽视前期的准备工作,导致部署过程中遇到各种意想不到的问题。在我看来,充分的准备是确保集群顺利上线并稳定运行的关键。
首先,操作系统选择与更新是基础。我通常推荐使用Ubuntu Server (LTS版本) 或 CentOS Stream/RHEL。这些发行版对Kubernetes的支持较好,社区资源也丰富。在任何节点上,第一步都应该是彻底更新系统:
sudo apt update && sudo apt upgrade -y
(或
sudo yum update -y
)。这不仅能修补安全漏洞,也能确保所有软件包处于最新状态,避免版本兼容性问题。
其次,硬件资源规划不容小觑。虽然Kubernetes可以在树莓派上跑,但对于生产环境,主控节点至少需要2核CPU、2GB内存,而工作节点则应根据预期的负载来配置,通常建议4核CPU、8GB内存起步,并配备SSD硬盘以获得更好的I/O性能。一个常见的误区是认为“够用就好”,但实际上,资源紧张会直接影响集群的稳定性和应用的响应速度。
接下来是几个技术细节:禁用Swap是必须的。Kubernetes的
kubelet
组件在检测到Swap开启时会报错,因为它会干扰内存管理,导致性能下降和不可预测的行为。通过
sudo swapoff -a
和修改
/etc/fstab
来永久禁用它。
防火墙配置也至关重要。Kubernetes集群的各个组件需要通过特定的端口进行通信。例如,API Server默认监听6443端口,kubelet监听10250端口。如果你的环境允许,最简单的做法是在开发测试阶段直接禁用防火墙(如
sudo ufw disable
或
sudo systemctl stop firewalld
),但生产环境则必须精确配置,开放必要的端口。
SELinux (CentOS/RHEL)也是一个需要特别注意的地方。它的安全策略可能会阻止容器运行时或Kubernetes组件的正常操作。通常,我会选择将其设置为
permissive
模式,或者在更严格的环境下,仔细配置SELinux策略以允许Kubernetes的运行。
网络配置是另一个潜在的坑。确保所有节点都拥有固定的IP地址,并且它们之间可以互相ping通。如果你的服务器在云端,通常会有一个内部私有网络,确保所有节点都在这个网络中。
最后,容器运行时的选择。Docker曾经是唯一的选择,但现在
containerd
和
CRI-O
等更轻量级的运行时成为了主流。我个人倾向于
containerd
,因为它更符合Kubernetes的CRI(Container Runtime Interface)规范,且资源占用更低。安装它,并确保其cgroup驱动与
kubelet
的配置一致(通常是
systemd
)。
这些准备工作可能看起来有些繁琐,但它们是构建一个稳固Kubernetes集群的基石。跳过任何一步,都可能在后期带来难以排查的故障。
Kubernetes集群的各个核心组件都有什么作用,它们是如何协同工作的?
要真正理解Kubernetes,光知道如何安装是不够的,还需要明白其内部的各个组件是如何协同工作的。这就像是了解一台汽车的每个零件,才能明白它是如何行驶的。Kubernetes集群可以大致分为两类组件:控制平面(Control Plane)组件和工作节点(Worker Node)组件。
控制平面组件 (Master Node Components):
-
kube-apiserver: 这是Kubernetes集群的“大脑”和“前门”。所有对集群的操作(创建Pod、更新Service等)都必须通过它。它提供restful API,是所有内部和外部组件与集群交互的唯一途径。它的高可用性对整个集群至关重要。
-
etcd: 这是一个高可用的键值存储系统,它保存了整个Kubernetes集群的所有状态数据,包括Pod、Service、Deployment等各种对象的配置和当前状态。如果etcd丢失数据,整个集群就“失忆”了。因此,etcd的备份和恢复是运维中的重中之重。
-
kube-scheduler: 顾名思义,它的任务是调度Pod。当一个新的Pod被创建时,调度器会根据资源需求(CPU、内存)、节点亲和性/反亲和性、污点/容忍度等策略,决定这个Pod应该运行在哪个工作节点上。它就像一个高效的交通调度员,确保资源得到合理分配。
-
kube-controller-manager: 这不是一个单一的控制器,而是一组控制器(如节点控制器、副本控制器、端点控制器、服务账号控制器等)的集合。每个控制器都负责监控集群的特定资源,并努力将集群的实际状态调整到用户期望的状态。例如,副本控制器会确保某个Deployment始终运行着指定数量的Pod副本。
-
cloud-controller-manager (可选): 如果你的Kubernetes集群部署在云环境中(如AWS、azure、GCP),这个组件就会发挥作用。它负责与云服务商的API进行交互,管理云资源,例如为Service创建负载均衡器、为持久化存储配置云磁盘等。
工作节点组件 (Worker Node Components):
-
kubelet: 这是运行在每个工作节点上的代理。它是节点与控制平面通信的关键。kubelet接收来自API Server的指令,管理Pod的生命周期,包括创建、启动、停止和删除Pod中的容器。它还负责向API Server报告节点和Pod的状态。
-
kube-proxy: 运行在每个工作节点上的网络代理。它维护着节点上的网络规则,负责实现Kubernetes Service的抽象。当一个Service被访问时,kube-proxy会确保请求被正确地路由到后端Pod。它支持多种代理模式,如iptables和IPVS。
-
Container Runtime (如containerd, Docker): 这是真正运行容器的底层软件。它负责从镜像仓库拉取镜像,然后根据Pod的定义,创建并运行容器。Kubernetes通过CRI(Container Runtime Interface)与这些运行时进行交互。
它们如何协同工作?
我们可以通过一个简单的Pod创建流程来理解它们的协同:
- 用户提交Pod定义: 用户通过
kubectl apply -f my-pod.yaml
命令,将Pod的YAML定义发送给kube-apiserver。
- API Server接收并存储: kube-apiserver接收到请求后,会验证其合法性,并将Pod的信息存储到etcd中。
- 调度器发现新Pod: kube-scheduler持续监控API Server,一旦发现有新的、尚未分配节点(
nodeName
为空)的Pod,就会开始工作。
- 调度决策: 调度器根据各种策略(如资源可用性、节点标签、Pod亲和性等)为Pod选择一个最合适的工作节点。
- API Server更新Pod状态: 调度器将选定的节点信息更新到Pod的
nodeName
字段,并通过API Server存储到etcd。
- kubelet接收指令: 目标工作节点上的kubelet通过与API Server的Watch机制,感知到有新的Pod被调度到自己身上。
- kubelet创建容器: kubelet指示Container Runtime拉取Pod所需的容器镜像,并根据Pod的定义(如CPU/内存限制、端口映射等)创建并运行容器。
- kube-proxy配置网络: 同时,kube-proxy会监听Service和Endpoint的变化。如果这个Pod是某个Service的后端,kube-proxy会在节点上配置相应的网络规则(如iptables或IPVS),确保Service的流量能够正确地转发到这个Pod。
- kubelet报告状态: kubelet持续向API Server报告Pod和容器的运行状态,API Server再将这些信息存储到etcd中,供其他组件和用户查询。
这个流程展示了Kubernetes各个组件如何紧密协作,共同完成容器化应用的自动化部署和管理。理解这些组件的功能和交互方式,对于故障排查和集群优化都至关重要。
部署完成后,我该如何验证Kubernetes集群的健康状况并进行初步管理?
集群部署完成,并不意味着万事大吉。验证其健康状况,并学会一些初步的管理命令,是确保你的投入没有白费的关键步骤。这就像你组装了一台电脑,总要开机测试一下各个部件是否正常工作。
首先,最基础的验证是检查节点状态。
kubectl get nodes
你应该看到所有节点都处于
Ready
状态。如果某个节点显示
NotReady
,那很可能意味着该节点上的
kubelet
服务有问题,或者网络不通畅。我会立即检查
kubelet
的日志:
sudo journalctl -u kubelet -f
。
接着,验证系统Pod的状态。Kubernetes自身运行了很多关键的Pod,它们通常位于
kube-system
命名空间下。
kubectl get pods -n kube-system
这里应该看到所有的Pod都处于
Running
状态。特别需要关注网络插件(如
calico-node
或
coredns
)的Pod,它们如果出现问题,整个集群的网络功能就会受影响。如果某个Pod卡在
Pending
、
CrashLoopBackOff
或其他非
Running
状态,我会用
kubectl describe pod <pod-name> -n kube-system
查看其详细事件,通常能找到问题线索。
检查网络插件的正常运行是下一步。如果
kube-system
下的网络插件Pod都正常运行,通常意味着网络层是健康的。你也可以尝试部署一个简单的测试应用,比如一个nginx Pod,然后暴露一个Service,尝试从集群内部或外部访问它,以验证Pod间通信和Service的负载均衡功能。
# 部署一个Nginx Deployment kubectl create deployment nginx --image=nginx # 暴露为NodePort Service kubectl expose deployment nginx --type=NodePort --port=80 # 查看Service信息,获取NodePort kubectl get svc nginx
然后你可以通过
http://<任意工作节点IP>:<NodePort>
来访问Nginx页面。
在日常管理中,查看集群事件是一个非常有用的习惯。
kubectl get events
这会列出集群中最近发生的所有事件,包括Pod的调度、镜像的拉取、容器的启动/停止等。当出现问题时,事件日志往往能提供关键的上下文信息。
查看日志是排查应用或系统Pod问题的利器。
kubectl logs <pod-name> -n <Namespace>
如果Pod有多个容器,你需要指定容器名称:
kubectl logs <pod-name> -c <container-name> -n <namespace>
。
--follow
参数可以实时跟踪日志输出。
对于资源管理,
kubectl top
命令能让你快速了解节点和Pod的CPU和内存使用情况。
kubectl top nodes kubectl top pods -n <namespace> # 可以不指定namespace,查看所有
这对于发现资源瓶颈或异常的