内存映射文件是将磁盘文件映射到进程地址空间,使程序像访问内存一样操作文件内容。1. 它通过操作系统自动管理缓存和分页,提高大文件处理效率;2. linux 使用 mmap 和 munmap 实现,需指定映射地址、大小、权限、标志等参数;3. windows 通过 createfilemapping 和 mapviewoffile 实现类似功能;4. 跨平台封装可通过类实现不同系统调用各自 api,统一接口为 map 和 unmap;5. 使用时需注意文件大小、读写模式、错误判断及资源释放。
在c++中使用内存映射文件(Memory-Mapped File)是一种高效的文件读写方式,尤其适合处理大文件。它通过将文件映射到进程的地址空间,使得程序可以直接像访问内存一样访问文件内容。mmap 是 linux 系统下常用的内存映射函数,但在 windows 上没有直接对应的 mmap,需要做跨平台适配。
什么是内存映射文件?
内存映射文件的核心思想是:把磁盘上的文件映射成一段内存地址。这样读写文件就像操作数组一样方便,而且操作系统会自动管理缓存和分页,效率很高。
比如你想读取一个几十GB的日志文件,用传统 fread 或 ifstream 可能会很慢,但用内存映射就可以按需加载部分数据,节省时间和资源。
立即学习“C++免费学习笔记(深入)”;
mmap 的基本用法(Linux)
在 Linux 下,使用的是
void* mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);
- addr:建议的映射起始地址,通常设为 nullptr
- length:映射区域大小
- prot:访问权限,如 PROT_READ、PROT_WRITE
- flags:映射选项,如 MAP_SHAred(修改会写回文件)、MAP_PRIVATE(私有副本)
- fd:打开的文件描述符
- offset:文件偏移量(必须是页对齐的)
示例代码片段:
int fd = open("example.txt", O_RDONLY); char* data = (char*) mmap(nullptr, file_size, PROT_READ, MAP_SHARED, fd, 0); // 使用 data 操作文件内容 munmap(data, file_size); close(fd);
Windows 下怎么实现类似功能?
Windows 并不支持 mmap,但提供了类似的机制:CreateFileMapping + MapViewOfFile
步骤如下:
- 打开文件:CreateFile
- 创建文件映射对象:CreateFileMapping
- 映射到内存:MapViewOfFile
- 最后记得清理:UnmapViewOfFile 和 CloseHandle
示例伪代码结构:
HANDLE hFile = CreateFile(...); HANDLE hMap = CreateFileMapping(hFile, NULL, PAGE_READONLY, 0, 0, NULL); char* data = (char*) MapViewOfFile(hMap, FILE_MAP_READ, 0, 0, 0); // 使用 data UnmapViewOfFile(data); CloseHandle(hMap); CloseHandle(hFile);
如何实现跨平台的 mmap 封装?
为了统一接口,可以做一个简单的封装,在不同系统下调用各自 API:
class MemoryMappedFile { public: void* map(const char* filename, size_t& out_size); void unmap(); private: #ifdef _WIN32 HANDLE hMap; #else int fd; #endif void* data; };
在 .cpp 文件中根据平台分别实现:
- Windows 版本调用 CreateFileMapping 等
- Linux/macos 调用 open, mmap, munmap
封装后用户只需要知道 map() 和 unmap() 即可,不用关心底层细节。
实际使用中的注意事项
- 文件大小要提前知道,否则无法确定映射长度
- 注意只读/读写模式的选择
- 映射失败时要判断返回值是否为 MAP_FaiLED 或 nullptr
- 如果是只读场景,尽量使用 MAP_PRIVATE 或 PROT_READ 来提高安全性
- 不要忘记释放资源(munmap / UnmapViewOfFile)
基本上就这些。虽然不同系统 API 不同,但逻辑差不多,只要做好封装,就能写出跨平台兼容的内存映射文件操作代码。