分配页面对齐的内存块有什么好处？

Question

我意识到大多数CPU更擅长在对齐的内存地址读取数据，即内存地址是CPU字的倍数。 但是，在很多地方我都读过有关分配页面对齐内存的内容。 为什么有人想要获得页面对齐的内存地址？ 它只是为了更大的表现吗？

Answer 1

分配内存的“传统”方法是将它放在一个连续的地址空间（“堆”，通过调用sbrk()向上增长）。 每次进入页面边界时，都会出现页面错误，并且您将映射到新页面。 这个策略有两个后果：

1. 只有在释放该页面内的所有分配并且所有其他分配都映射到较低地址时，才能释放页面。 （堆碎片的典型效果）。
2. 较大的分配可能占用一页而不是严格需要（如果它们从页面中间的某处开始）。

因此，此策略仅适用于较小的内存块，您不希望为每次分配“浪费”整个页面。

对于更大的块，最好使用mmap()直接将新页面映射到某个地方，这样就可以得到“页面对齐的内存”。 使用此选项，您的分配不会与其他分配共享页面。 只要您不再需要内存，就可以将其返回给操作系统。 请注意，许多malloc()实现会自动选择是使用sbrk()还是mmap()进行分配，具体取决于所需分配的大小。

Answer 2

对齐限制通常与直接IO相关联 - 它绕过页面缓存，将数据直接复制到磁盘或从磁盘复制到进程的地址空间。 这可以在不需要页面缓存的情况下提供显着的性能改进 - 例如流式传输数千兆字节的数据，尤其是在向极快速磁盘系统执行IO时。

请注意，只有一些文件系统支持直接IO。

在Linux上， RedHat的文档部分是：

直接I / O最佳实践

---

用户必须始终注意使用正确对齐和大小的IO。 这对于直接I / O访问尤其重要。 直接I / O应该在'logical_block_size'边界上并且在'logical_block_size'的倍数上对齐。 对于原生4K设备（logical_block_size为4K），应用程序执行直接I / O至关重要，该直接I / O是设备的'logical_block_size'的倍数。 这意味着不执行4K对齐I / O但512字节对齐I / O的应用程序将破坏本机4K设备。 应用程序可以查阅设备的“I / O限制”，以确保它们使用正确对齐和大小的I / O. “I / O限制”通过sysfs和块设备ioctl接口公开（另请参见：libblkid）。

sysfs接口

/ SYS /块// alignment_offset

/ SYS /块/// alignment_offset

/ SYS /块//队列/ physical_block_size

/ SYS /块//队列/ logical_block_size

/ SYS /块//队列/ minimum_io_size

/ SYS /块//队列/ optimal_io_size

请注意，直接IO的使用可能受到实际硬件和软件的限制。 如RedHat文档中所述，物理设备限制很重要。

要在Linux上使用直接IO，需要使用O_DIRECT标志打开文件：

int fd = open( filename, O_RDONLY | O_DIRECT );

根据我的经验，在某些情况下，直接IO可以使IO性能提高20-30％。 这些情况通常涉及在非常快速的文件系统上向/从文件传输大量数据，而应用程序不执行或只执行很少的seek()调用。

Answer 3

对齐总是会产生一些性能问题。 当你写（2）或读（2）一个文件时，最好是你可以调整读数的限制来阻止对齐，因为你让内核做两次块读取而不是一次。 最坏的情况是在块边界上读取两个字节。 假设您的块大小为1024字节，此代码：

char var[2];
int fd;

fd = open("/etc/passwd", O_RDONLY);
lseek(fd, 1023UL, SEEK_SET);
read(fd, &var, sizeof var);

将使内核强制执行两个块读取（最多，因为块之前可能已经缓存），仅用于两个字节的read（2）调用。

在内存的情况下，所有这些东西通常由malloc（3）管理，并且，由于您没有在页面错误上失败，您不会受到任何性能损失（这就是您没有任何标准库的原因）函数来获得对齐的内存，即使在需求分页的虚拟系统中），只要你消耗内存，内核就会在页面中为你分配它。 处理器虚拟内存系统使页面对齐几乎透明。 只有在你有一个未对齐的内存访问的情况下（假设你访问一个32位整数访问错位 - 不可能 - 到两个页面，并且这两个页面已被内核换掉，你将不得不等待内核交换两页内存而不是一页 - 但这是不太可能发生的事情，编译器通常强制内部循环在页面边界之间不失败以最小化发生这种情况的可能性，并且你还有指令缓存到应对这些事情）

说这个，如果你有点对齐内存，有些地方你可以获得性能提升。 我会试着向你展示一个这样的场景：

假设您需要动态管理许多小型结构（假设长16字节），并计划使用malloc（）进行管理。 malloc（3）管理内存，包括分配的每个内存块中的头（假设这个头长度为8个字节），使内存开销比理想值高50％。 如果你安排以（假设）64个结构的形式获得内存，那么每个64*16 = 1024字节（仅大约8％的数量）你只会得到其中一个标题（8字节）

要管理这个，你必须考虑知道所有这些结构属于哪个块（这样你可以在不使用时释放（3）块），你可以用两种方式做到这一点：1。使用指针（添加每个结构大小4个字节 - 这是没有意义的，因为你将为每个结构添加4个字节，再次损失25％的内存）指向chunck，或2.- *强制chunck对齐，所以块地址可以很容易地从struct地址计算（你只需要将除了mod chunksize的其余部分减去struct结构地址）来获得块地址。 最后一种方法不会对定位chunck施加任何开销，但强制所有块的实践都是块对齐的 （不是页面对齐的）。

通过这种方式，您可以大大提高性能，因为您可以大大减少malloc（3）调用的数量，并减少分配少量内存所带来的内存浪费。

顺便说一句，malloc不会向操作系统询问每次调用时你要求的内存。 它以类似于此处所述的方式以块的形式分配内存，并且正常实现甚至不会再次将分配的内存返回给系统（在分配新内存之前重用已释放的内存）它控制对sbrk的调用（ 2）系统调用，这意味着如果您使用此系统调用，您将干扰malloc。

当您使用shmat（2）系统调用时，Linux / unix将为您提供页面对齐的内存。 尝试阅读本文档和相关文档。