C++中内存映射文件怎么用?mmap跨平台实现

内存映射文件是将磁盘文件映射到进程地址空间,使程序像访问内存一样操作文件内容。1. 它通过操作系统自动管理缓存和分页,提高大文件处理效率;2. linux 使用 mmap 和 munmap 实现,需指定映射地址、大小、权限、标志等参数;3. windows 通过 createfilemapping 和 mapviewoffile 实现类似功能;4. 跨平台封装可通过类实现不同系统调用各自 api,统一接口为 map 和 unmap;5. 使用时需注意文件大小、读写模式、错误判断及资源释放。

C++中内存映射文件怎么用?mmap跨平台实现

c++中使用内存映射文件(Memory-Mapped File)是一种高效的文件读写方式,尤其适合处理大文件。它通过将文件映射到进程的地址空间,使得程序可以直接像访问内存一样访问文件内容。mmap 是 linux 系统下常用的内存映射函数,但在 windows 上没有直接对应的 mmap,需要做跨平台适配。

C++中内存映射文件怎么用?mmap跨平台实现


什么是内存映射文件?

内存映射文件的核心思想是:把磁盘上的文件映射成一段内存地址。这样读写文件就像操作数组一样方便,而且操作系统会自动管理缓存和分页,效率很高。

C++中内存映射文件怎么用?mmap跨平台实现

比如你想读取一个几十GB的日志文件,用传统 fread 或 ifstream 可能会很慢,但用内存映射就可以按需加载部分数据,节省时间和资源。

立即学习C++免费学习笔记(深入)”;


mmap 的基本用法(Linux)

在 Linux 下,使用的是 中的 mmap 函数:

C++中内存映射文件怎么用?mmap跨平台实现

void* mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);
  • addr:建议的映射起始地址,通常设为 nullptr
  • length:映射区域大小
  • prot:访问权限,如 PROT_READ、PROT_WRITE
  • flags:映射选项,如 MAP_SHAred(修改会写回文件)、MAP_PRIVATE(私有副本)
  • fd:打开的文件描述符
  • offset:文件偏移量(必须是页对齐的)

示例代码片段:

int fd = open("example.txt", O_RDONLY); char* data = (char*) mmap(nullptr, file_size, PROT_READ, MAP_SHARED, fd, 0); // 使用 data 操作文件内容 munmap(data, file_size); close(fd);

Windows 下怎么实现类似功能?

Windows 并不支持 mmap,但提供了类似的机制:CreateFileMapping + MapViewOfFile

步骤如下:

  • 打开文件:CreateFile
  • 创建文件映射对象:CreateFileMapping
  • 映射到内存:MapViewOfFile
  • 最后记得清理:UnmapViewOfFile 和 CloseHandle

示例伪代码结构:

HANDLE hFile = CreateFile(...); HANDLE hMap = CreateFileMapping(hFile, NULL, PAGE_READONLY, 0, 0, NULL); char* data = (char*) MapViewOfFile(hMap, FILE_MAP_READ, 0, 0, 0); // 使用 data UnmapViewOfFile(data); CloseHandle(hMap); CloseHandle(hFile);

如何实现跨平台的 mmap 封装?

为了统一接口,可以做一个简单的封装,在不同系统下调用各自 API:

class MemoryMappedFile { public:     void* map(const char* filename, size_t& out_size);     void unmap(); private: #ifdef _WIN32     HANDLE hMap; #else     int fd; #endif     void* data; };

在 .cpp 文件中根据平台分别实现:

  • Windows 版本调用 CreateFileMapping 等
  • Linux/macos 调用 open, mmap, munmap

封装后用户只需要知道 map() 和 unmap() 即可,不用关心底层细节。


实际使用中的注意事项

  • 文件大小要提前知道,否则无法确定映射长度
  • 注意只读/读写模式的选择
  • 映射失败时要判断返回值是否为 MAP_FaiLED 或 nullptr
  • 如果是只读场景,尽量使用 MAP_PRIVATE 或 PROT_READ 来提高安全性
  • 不要忘记释放资源(munmap / UnmapViewOfFile)

基本上就这些。虽然不同系统 API 不同,但逻辑差不多,只要做好封装,就能写出跨平台兼容的内存映射文件操作代码。

© 版权声明
THE END
喜欢就支持一下吧
点赞10 分享