Python中mmap模块 内存映射文件mmap的高效文件访问

在python中，如果你需要处理大文件或者追求高效的文件读写方式，mmap模块是一个非常值得尝试的工具。它通过内存映射的方式访问文件内容，避免了频繁的i/o操作，提升了性能。

什么是mmap？为什么用它？

mmap是“memory-mapped file”的缩写，意思是把一个文件直接映射到进程的地址空间中。这样你就可以像操作内存一样来操作文件内容，而不需要反复调用read()或write()。

这种方式特别适合以下场景：

• 文件很大，常规读取太慢
• 需要随机访问文件的不同部分
• 多个进程需要共享同一个文件的数据

相比传统的文件操作，mmap减少了数据在内核和用户空间之间的拷贝次数，效率更高。

如何使用mmap模块？

在python中使用mmap模块的基本流程如下：

立即学习“Python免费学习笔记（深入）”；

1. 打开一个文件，获取文件描述符（通常用os.open()）
2. 创建一个mmap对象，将文件映射到内存
3. 像操作字符串一样读写内存中的内容
4. 完成后关闭mmap对象和文件描述符

下面是一个简单的例子：

import mmap import os  # 打开文件 fd = os.open("example.txt", os.O_RDWR)  # 创建内存映射 mm = mmap.mmap(fd, 0)  # 0表示整个文件都映射  # 读取内容 print(mm.readline())  # 修改内容（假设前几个字节是可写的） mm[0:5] = b"Hello"  # 关闭 mm.close() os.close(fd)

需要注意几点：

• 如果你只打算读取文件，可以设置access=mmap.Access_READ
• 要修改文件内容，确保文件大小足够，并且映射时指定正确的模式
• 使用完记得关闭mmap对象和文件描述符，否则会占用资源

mmap的常见用途和技巧

快速查找关键字

如果你需要在一个大文本文件中查找某个关键词，mmap比逐行读取快很多。你可以直接使用字符串方法进行搜索：

pos = mm.find(b"target_keyword") if pos != -1:     print(f"Found at position {pos}")

这种方法不会加载整个文件到内存，只是在需要时访问对应内存区域。

高效修改文件内容

如果你想修改文件中间某段内容，传统做法可能需要先读整个文件、修改、再写回去。但用mmap可以直接定位并修改：

mm.seek(100) mm.write(b"new content here")

注意：写入的内容长度不能超过原位置预留的空间，否则会覆盖后续内容。

多进程共享文件数据

如果多个进程需要访问同一份数据，可以用mmap配合flags=mmap.MAP_SHAred实现共享内存。这样不同进程看到的是同一块内存区域，适合做进程间通信。

使用mmap的注意事项

虽然mmap高效，但也有一些限制和容易出错的地方：

• 文件必须存在：创建新的文件并映射可能会失败，最好先创建好并指定大小。
• 权限问题：映射时的访问权限（只读/读写）要和文件打开方式一致，否则会报错。
• 异常处理：在操作过程中可能会出现越界访问或非法写入，建议加try…finally确保关闭资源。
• 平台差异：windows和linux在某些参数上支持略有不同，跨平台使用时要注意兼容性。

基本上就这些。掌握好mmap的使用，能让你在处理大文件或需要高性能IO的场景下事半功倍。虽然不是每个项目都需要它，但在合适的地方用上，效果很明显。