在python中遍历目录并过滤特定文件类型可使用os.walk()结合字符串操作或fnmatch模块，1.使用os.walk()递归遍历目录获取文件名；2.通过endswith()或fnmatch.fnmatch()筛选目标文件类型；3.用os.path.join()组合完整路径；4.处理权限错误可用try…except捕获oserror；5.避免遍历符号链接需设置followlinks=false；6.使用生成器实现延迟加载提升效率；7.通过concurrent.futures模块结合多线程或多进程加速io密集型任务。
遍历目录下的文件，在python中主要通过os和os.path模块，当然glob模块在某些场景下也很方便。过滤特定文件类型，则需要结合字符串操作或者fnmatch模块。
解决方案：
在Python中，遍历目录下的文件通常使用os.walk()函数。这个函数会递归地遍历指定目录及其子目录，返回一个生成器，每次迭代都会产生一个三元组 (dirpath, dirnames, filenames)，分别表示当前目录的路径、当前目录下的子目录名列表和当前目录下的文件名列表。
立即学习“Python免费学习笔记（深入）”；
以下是一个基本的示例：
import os def traverse_directory(directory): for dirpath, dirnames, filenames in os.walk(directory): print(f"当前目录：{dirpath}") for filename in filenames: print(f" 文件：{filename}") print(f" 子目录：{dirnames}") # 使用示例 traverse_directory("/path/to/your/directory")
要过滤特定文件类型，可以结合字符串的endswith()方法或者fnmatch模块。例如，只遍历.txt文件：
import os import fnmatch def traverse_and_filter(directory, pattern): for dirpath, dirnames, filenames in os.walk(directory): for filename in filenames: if filename.endswith(pattern): # 使用endswith print(f"找到 {pattern} 文件：{os.path.join(dirpath, filename)}") def traverse_and_filter_fnmatch(directory, pattern): for dirpath, dirnames, filenames in os.walk(directory): for filename in filenames: if fnmatch.fnmatch(filename, pattern): # 使用fnmatch print(f"找到匹配 {pattern} 的文件：{os.path.join(dirpath, filename)}") # 使用示例 traverse_and_filter("/path/to/your/directory", ".txt") traverse_and_filter_fnmatch("/path/to/your/directory", "*.log") # 匹配所有.log文件
os.path.join()函数用于将目录路径和文件名组合成完整的文件路径，这是一个好习惯，可以避免手动拼接字符串时出现错误。
如何处理遍历过程中遇到的权限错误？
在遍历目录时，可能会遇到权限不足的情况，导致os.walk()抛出OSError异常。为了程序的健壮性，可以使用try…except块来捕获并处理这些异常。
import os def traverse_directory_safe(directory): for dirpath, dirnames, filenames in os.walk(directory): try: print(f"当前目录：{dirpath}") for filename in filenames: print(f" 文件：{filename}") print(f" 子目录：{dirnames}") except OSError as e: print(f" 警告：无法访问 {dirpath} - {e}") # 使用示例 traverse_directory_safe("/path/to/your/directory")
这样，即使遇到无法访问的目录，程序也会继续执行，而不会崩溃。记录下出错的目录路径，方便后续排查问题。
如何避免遍历符号链接指向的目录？
默认情况下，os.walk()会跟随符号链接进入其指向的目录。如果需要避免这种情况，可以将followlinks参数设置为False。
import os def traverse_without_links(directory): for dirpath, dirnames, filenames in os.walk(directory, followlinks=False): print(f"当前目录：{dirpath}") for filename in filenames: print(f" 文件：{filename}") print(f" 子目录：{dirnames}") # 使用示例 traverse_without_links("/path/to/your/directory")
设置followlinks=False后，os.walk()会将符号链接当作普通文件或目录处理，而不会进入其指向的目录进行遍历。这在处理包含大量符号链接的目录结构时非常有用，可以避免无限循环。
如何使用生成器提高遍历效率，特别是处理大型目录结构时？
os.walk() 本身就是一个生成器，但我们可以进一步利用生成器来延迟处理文件，从而提高效率。例如，我们可以创建一个生成器函数，只在需要时才返回文件路径，而不是一次性加载所有文件路径到内存中。
import os def file_path_generator(directory, pattern): for dirpath, dirnames, filenames in os.walk(directory): for filename in filenames: if filename.endswith(pattern): yield os.path.join(dirpath, filename) # 使用示例 file_generator = file_path_generator("/path/to/your/directory", ".txt") # 延迟处理文件 for file_path in file_generator: # 对 file_path 进行处理 print(f"处理文件：{file_path}")
这样做的好处是，只有在迭代到某个文件时，才会计算其完整路径，从而节省了内存和计算资源。特别是在处理大型目录结构时，这种延迟处理的方式可以显著提高程序的性能。可以把生成器想象成一个“按需供应”的工厂，只有你需要的时候，它才会生产。
如何使用多线程或多进程加速文件遍历和处理？
对于IO密集型的任务，例如文件遍历和处理，可以使用多线程或多进程来加速。concurrent.futures模块提供了一个高级接口，可以方便地实现并发执行。
import os import concurrent.futures def process_file(file_path): # 对文件进行处理 print(f"处理文件：{file_path}") # 模拟耗时操作 import time time.sleep(0.1) # 模拟IO操作 def traverse_and_process_parallel(directory, pattern, num_workers=4): with concurrent.futures.ThreadPoolExecutor(max_workers=num_workers) as executor: for dirpath, dirnames, filenames in os.walk(directory): for filename in filenames: if filename.endswith(pattern): file_path = os.path.join(dirpath, filename) executor.submit(process_file, file_path) # 使用示例 traverse_and_process_parallel("/path/to/your/directory", ".txt", num_workers=8)
在这个示例中，ThreadPoolExecutor创建了一个线程池，用于并发执行process_file函数。每个符合条件的文件都会被提交到线程池中进行处理。通过调整num_workers参数，可以控制并发执行的线程数量。对于CPU密集型的任务，可以考虑使用ProcessPoolExecutor来代替ThreadPoolExecutor，利用多进程来提高性能。需要注意的是，多线程和多进程都会带来额外的开销，例如线程/进程的创建和切换，以及数据同步等。因此，需要根据实际情况进行权衡，选择合适的并发策略。
