linux中进程与线程

进程是程序在特定数据集上运行的活动单元。它是操作系统执行的基本单位,在传统操作系统中,进程既是资源分配的基本单位,也是执行的基本单位。进程有两个核心概念:首先,进程是一个实体,每个进程都有自己的地址空间,通常包括文本区域、数据区域和区域。文本区域存放处理器执行的代码;数据区域存放变量和动态分配的内存;堆栈区域存放活动过程调用的指令和本地变量。其次,进程是一个“正在执行的程序”。程序本身是一个静态实体,只有在操作系统赋予其生命(即执行)时,它才成为一个动态的实体,我们称之为进程。

线程是操作系统能够进行运算调度的基本单位。它包含在进程之中,是进程中的实际操作单位。一条线程代表进程中一个单一顺序的控制流,一个进程可以并发运行多个线程,每条线程执行不同的任务。在unix System V及SunOS中,线程也被称为轻量进程(lightweight processes),但轻量进程通常指的是内核线程(kernel Thread),而用户线程(user thread)则称为线程。同一进程中的多条线程共享该进程的所有系统资源,如虚拟地址空间、文件描述符和信号处理等。但每个线程有自己的调用栈、寄存器环境和线程本地存储。

linux内核中,进程和线程虽然都是任务,但需要区分。其中,pid 是进程ID,tgid 是线程组ID。如果一个进程只有主线程,那么pid和tgid都是自身,group_leader也指向自身。然而,如果一个进程创建了其他线程,情况会有所不同。线程有自己的pid,tgid是进程的主线程的pid,group_leader指向进程的主线程。有了tgid,就可以区分task_struct是代表一个进程还是一个线程。关系如下图所示:

linux中进程与线程

关于线程和进程的内核参数限制,在Linux下执行ulimit -a可以查看ulimit对各种资源的限制。

linux中进程与线程

其中,“max user processes”表示一个进程能创建的最大线程数,可以通过以下命令修改:

ulimit -u 66535

另一个参数是sys.kernel.threads-max,它限制操作系统全局的线程数。可以通过以下命令查看其值:

cat /proc/sys/kernel/threads-max 32768

修改这个值的方法如下:

#方法一,重启后会失效 echo 65535 > /proc/sys/kernel/threads-max #方法二,永久修改 echo "kernel.threads-max = 65535" >> /etc/sysctl.conf

第三个参数是sys.kernel.pid_max,它同样限制操作系统全局的进程数。可以通过以下命令查看其值:

cat /proc/sys/kernel/pid_max 32768

修改这个值的方法如下:

#方法一,重启后会失效 echo 65535 > /proc/sys/kernel/pid_max #方法二,永久修改 echo "kernel.pid_max = 65535" >> /etc/sysctl.conf

注意:一个线程也会占用一个pid,所以threads-max必须小于等于pid_max。

对于Linux系统,容器是一组进程的集合。如果容器中的应用创建过多进程或出现bug,可能会产生类似fork bomb的行为。这不仅会影响同一节点上的其他容器,还会导致宿主机无法正常工作。因此,需要限制每个容器的最大进程数目,这由pids Cgroup子系统完成。之前遇到过一个问题,Java应用由于处理大量定时任务,每个定时任务启动一个线程。但由于代码bug,没有及时回收线程,导致容器不断产生线程,耗尽宿主机的进程表空间,最终导致整个Linux系统上的服务报错“java.lang.OutOfMemoryError: Unable to create native threads”,影响了其他服务。创建进程时出现“Resource temporarily unavailable”的报错。这种问题除了需要开发人员修复bug外,也需要在系统层面对线程数量进行限制。

在cgroup中,对pid进行了隔离,通过更改docker/kubelet配置,可以限制pid总数,从而达到限制线程总数的目的。

docker中,容器启动时可以通过设置 –pids-limit 参数来限制容器级别的pid总数。在kubelet中,可以通过开启SupportPodPidsLimit特性,并设置–pod-max-pids参数来限制每个节点上每个pod的pid总数。原理如下:在一个容器创建后,创建容器的服务会在 /sys/fs/cgroup/pids 下建立一个子目录,即一个控制组。控制组中最关键的一个文件是 pids.max。kubelet或docker向这个文件写入数值,这个值就是该容器中允许的最大进程数目。kubernetes中的每个节点都会运行一个叫做Kubelet的服务,负责节点上容器的状态和生命周期,如创建和删除容器。根据Kubernetes的官方文档Process ID Limits And Reservations,可以设置Kubelet服务的 –pod-max-pids 配置选项,之后在该节点上创建的容器,最终都会使用Cgroups pid控制器限制容器的进程数量。

总结:Linux中,为了防止进程恶意使用资源,系统使用ulimit来限制进程的资源使用情况(包括文件描述符、线程数、内存大小等)。同样地,在容器化场景中,也需要限制其系统资源的使用量。pid是计算机的重要资源,所以在使用时需要加以限制,以保证资源的合理利用。dockerd暂无默认的pid limit设置;在k8s中,可以通过在kubelet中开启SupportPodPidsLimit特性,设置pod级别的pid limit来限制线程数。

今天的内容就到这里。我是夏老师,祝你今天知识吃饱,我们下次再见。

巨人的肩膀[1] 极客时间.专栏.趣谈linux操作系统

© 版权声明
THE END
喜欢就支持一下吧
点赞12 分享