Python递归遍历与结构化文本文件解析：以网络速度数据为例

本文介绍如何使用python递归遍历文件系统，并解析特定格式的文本文件。通过pathlib模块查找所有.txt文件，然后将每个文件按固定行数分块处理。重点展示如何从每块中提取网络下载和上传速度信息，并根据预设条件进行格式化输出。此方法适用于处理结构化日志或报告文件，实现高效的数据提取与分析。

在日常的数据处理任务中，我们经常需要从大量散布在不同目录下的文本文件中提取特定信息。这些文件可能拥有固定的结构，例如日志文件或测试报告，其中包含需要按特定规则解析的数据。本教程将以一个具体的案例为例，展示如何利用Python高效地递归遍历文件、解析结构化文本内容，并根据业务逻辑对数据进行处理和格式化输出。

场景描述

假设我们有一个复杂的目录结构，其中包含多个.txt文件。每个.txt文件都具有以下特点：

• 文件内容分为多个逻辑部分，每个部分由特定的分隔符（例如两行>）开始。
• 每个部分包含固定数量的行（例如，8行），且所有文件中的行数保持一致。
• 在每个部分中，网络下载速度（Download:）和上传速度（Upload:）信息分别位于特定的行上，其格式为 Download: 或 Upload: 。

我们的目标是：

1. 递归地查找指定根目录下所有.txt文件。
2. 对于每个文件，识别其所有逻辑部分。
3. 从每个部分的Download:和Upload:行中提取速度值和单位。
4. 根据以下业务规则格式化输出提取到的速度信息：
   • 如果速度为0，输出“zero”。
   • 如果速度单位为Mbit/s且速度值小于600，输出“less than 600 Mbit/s”。
   • 否则，输出实际的速度值和单位。

解决方案概述

本方案将采用模块化的Python方法，主要包括以下几个核心部分：

立即学习“Python免费学习笔记（深入）”；

1. 文件遍历： 使用pathlib模块递归查找目标文件。
2. 内容分块： 根据文件内容的固定结构，将整个文件内容分割成逻辑块，以便逐块处理。
3. 信息解析： 定义辅助函数从特定行中提取和转换速度数据（数值和单位）。
4. 结果格式化： 定义辅助函数根据预设的业务规则将解析出的速度信息格式化为字符串。

详细实现步骤

1. 准备工作：文件遍历与常量定义

首先，我们需要导入pathlib模块来处理文件路径和进行递归搜索。为了提高代码的可读性和可维护性，我们将文件结构的固定参数（如每个逻辑部分的行数）定义为常量。

from pathlib import Path  # 定义每个逻辑部分的固定行数 LINES_PER_PART = 8

通过Path(“.”).rglob(“*.txt”)可以从当前目录开始递归地查找所有.txt文件。

# 获取当前目录下所有.txt文件（包括子目录） result = list(Path(".").rglob("*.txt"))  for filename in result:     with open(filename, 'r') as file:         # 后续处理逻辑将在此处展开         pass

2. 文件内容分块处理

由于每个文件都由固定行数的逻辑部分组成，我们可以编写一个辅助函数chunks来将文件的所有行分割成这些逻辑块。这使得后续处理每个部分的数据变得非常方便和清晰。

 def chunks(arr, chunk_size):     """     将列表（在此处为文件行列表）分割成指定大小的块。      Args:         arr (list): 待分割的列表，通常是文件读取的所有行。         chunk_size (int): 每个块的大小（即每个逻辑部分的行数）。      Returns:         list: 包含所有块的列表。     """     result = []     for i in range(0, len(arr), chunk_size):