Linux中是否有用于从虚拟地址确定物理地址的API？

Question

Linux操作系统中是否有用于从虚拟地址确定物理地址的API？

Answer 1

内核和用户空间使用由内存管理硬件映射到物理地址的虚拟地址（也称为线性地址）。 此映射由页表定义，由操作系统设置。

DMA 设备使用总线地址。 在 i386 PC 上，总线地址与物理地址相同，但其他体系结构可能具有特殊的地址映射硬件来将总线地址转换为物理地址。

在 Linux 中，您可以使用asm/io.h这些函数：

• virt_to_phys（virt_addr）；
• phys_to_virt(phys_addr);
• virt_to_bus（virt_addr）；
• bus_to_virt(bus_addr);

所有这些都是关于访问普通内存。 PCI 或ISA 总线上还有“共享内存”。 它可以使用 ioremap() 映射到 32 位地址空间内，然后通过 readb()、writeb()（等）函数使用。

由于存在各种缓存，因此访问同一物理地址的不同方式不一定会产生相同的结果，这使生活变得复杂。

此外，虚拟地址背后的真实物理地址可能会发生变化。 更重要的是 - 在您访问该内存之前，可能没有与虚拟地址相关联的地址。

至于用户级 API，我不知道。

Answer 2

/proc/<pid>/pagemap userland 最小可运行示例

virt_to_phys_user.c

#define _XOPEN_SOURCE 700
#include <fcntl.h> /* open */
#include <stdint.h> /* uint64_t  */
#include <stdio.h> /* printf */
#include <stdlib.h> /* size_t */
#include <unistd.h> /* pread, sysconf */

typedef struct {
    uint64_t pfn : 55;
    unsigned int soft_dirty : 1;
    unsigned int file_page : 1;
    unsigned int swapped : 1;
    unsigned int present : 1;
} PagemapEntry;

/* Parse the pagemap entry for the given virtual address.
 *
 * @param[out] entry      the parsed entry
 * @param[in]  pagemap_fd file descriptor to an open /proc/pid/pagemap file
 * @param[in]  vaddr      virtual address to get entry for
 * @return 0 for success, 1 for failure
 */
int pagemap_get_entry(PagemapEntry *entry, int pagemap_fd, uintptr_t vaddr)
{
    size_t nread;
    ssize_t ret;
    uint64_t data;
    uintptr_t vpn;

    vpn = vaddr / sysconf(_SC_PAGE_SIZE);
    nread = 0;
    while (nread < sizeof(data)) {
        ret = pread(pagemap_fd, ((uint8_t*)&data) + nread, sizeof(data) - nread,
                vpn * sizeof(data) + nread);
        nread += ret;
        if (ret <= 0) {
            return 1;
        }
    }
    entry->pfn = data & (((uint64_t)1 << 55) - 1);
    entry->soft_dirty = (data >> 55) & 1;
    entry->file_page = (data >> 61) & 1;
    entry->swapped = (data >> 62) & 1;
    entry->present = (data >> 63) & 1;
    return 0;
}

/* Convert the given virtual address to physical using /proc/PID/pagemap.
 *
 * @param[out] paddr physical address
 * @param[in]  pid   process to convert for
 * @param[in] vaddr virtual address to get entry for
 * @return 0 for success, 1 for failure
 */
int virt_to_phys_user(uintptr_t *paddr, pid_t pid, uintptr_t vaddr)
{
    char pagemap_file[BUFSIZ];
    int pagemap_fd;

    snprintf(pagemap_file, sizeof(pagemap_file), "/proc/%ju/pagemap", (uintmax_t)pid);
    pagemap_fd = open(pagemap_file, O_RDONLY);
    if (pagemap_fd < 0) {
        return 1;
    }
    PagemapEntry entry;
    if (pagemap_get_entry(&entry, pagemap_fd, vaddr)) {
        return 1;
    }
    close(pagemap_fd);
    *paddr = (entry.pfn * sysconf(_SC_PAGE_SIZE)) + (vaddr % sysconf(_SC_PAGE_SIZE));
    return 0;
}

int main(int argc, char **argv)
{
    pid_t pid;
    uintptr_t vaddr, paddr = 0;

    if (argc < 3) {
        printf("Usage: %s pid vaddr\n", argv[0]);
        return EXIT_FAILURE;
    }
    pid = strtoull(argv[1], NULL, 0);
    vaddr = strtoull(argv[2], NULL, 0);
    if (virt_to_phys_user(&paddr, pid, vaddr)) {
        fprintf(stderr, "error: virt_to_phys_user\n");
        return EXIT_FAILURE;
    };
    printf("0x%jx\n", (uintmax_t)paddr);
    return EXIT_SUCCESS;
}

GitHub 上游。

用法：

sudo ./virt_to_phys_user.out <pid> <virtual-address>

即使您具有文件权限，也需要sudo读取/proc/<pid>/pagemap如下所述： https : //unix.stackexchange.com/questions/345915/how-to-change-permission-of-proc-self -pagemap-file/383838#383838

正如在： https : virt_to_phys_user提到的，Linux 延迟分配页表，因此请确保在使用virt_to_phys_user之前从测试程序读取和写入该地址的字节。

如何测试

测试程序：

#define _XOPEN_SOURCE 700
#include <stdint.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>

enum { I0 = 0x12345678 };

static volatile uint32_t i = I0;

int main(void) {
    printf("vaddr %p\n", (void *)&i);
    printf("pid %ju\n", (uintmax_t)getpid());
    while (i == I0) {
        sleep(1);
    }
    printf("i %jx\n", (uintmax_t)i);
    return EXIT_SUCCESS;
}

测试程序输出它拥有的变量的地址及其PID，例如：

vaddr 0x600800
pid 110

然后你可以通过转换虚拟地址：

sudo ./virt_to_phys_user.out 110 0x600800

最后，可以通过使用/dev/mem来观察/修改内存来测试转换，但是在 Ubuntu 17.04 上你不能这样做而不重新编译内核，因为它需要： CONFIG_STRICT_DEVMEM=n ，另见： 如何访问物理地址从 Linux 中的用户空间？ 但是，Buildroot是克服这个问题的一种简单方法。

或者，您可以使用虚拟机，例如 QEMU 监视器的xp命令： 如何在 Linux 中解码 /proc/pid/pagemap 条目？

看到这个转储所有页面： 如何在 Linux 中解码 /proc/pid/pagemap 条目？

这个问题的用户空间子集： How to find the physical address of a variable from user-space in Linux?

使用/proc/<pid>/maps转储所有进程页面

/proc/<pid>/maps列出了进程的所有地址范围，因此我们可以遍历它来翻译所有页面： /proc/[pid]/pagemaps 和 /proc/[pid]/maps | linux

Kerneland virt_to_phys()仅适用于kmalloc()地址

已经在内核模块中提到了virt_to_phys() 。

但是，重要的是要强调它具有此限制。

例如，模块变量失败。 arc/x86/include/asm/io.h文档：

返回的物理地址是给定内存地址的物理 (CPU) 映射。 仅在通过kmalloc()直接映射或分配的地址上使用此函数才有效。

这是一个内核模块，它与用户态测试一起说明了这一点。

所以这不是一个非常普遍的可能性。 请参阅： 如何从 Linux 内核模块中的逻辑地址获取物理地址？ 专门用于内核模块方法。

Answer 3

如前所述，普通程序不需要担心物理地址，因为它们在虚拟地址空间中运行，具有所有便利性。 此外，并非每个虚拟地址都有物理地址，它们可能属于映射文件或交换页面。 然而，有时看到这个映射可能会很有趣，即使是在用户空间。

为此，Linux 内核通过/proc中的一组文件将其映射公开给用户空间。 文档可以在这里找到。 简短的摘要：

1. /proc/$pid/maps提供了虚拟地址的映射列表以及附加信息，例如映射文件的相应文件。
2. /proc/$pid/pagemap提供有关每个映射页面的更多信息，包括物理地址（如果存在）。

这个网站提供了一个 C 程序，它使用这个接口转储所有正在运行的进程的映射，并解释它的作用。

Answer 4

上面建议的 C 程序通常有效，但它可能会以（至少）两种方式返回误导性结果：

1. 该页面不存在（但虚拟地址已映射到页面！）。 发生这种情况是由于操作系统的延迟映射：它仅在实际访问地址时才映射地址。
2. 返回的 PFN 指向某个可能临时的物理页面，由于写时复制，该页面可能很快就会更改。 例如：对于内存映射文件，PFN 可以指向只读副本。 对于匿名映射，映射中所有页面的 PFN 可以是一个特定的充满 0 的只读页面（所有匿名页面在写入时都会从中产生）。

底线是，为了确保更可靠的结果：对于只读映射，在查询其 PFN 之前至少从每个页面读取一次。 对于允许写入的页面，在查询其 PFN 之前至少向每个页面写入一次。

当然，理论上，即使在获得“稳定”的 PFN 之后，映射也始终可以在运行时任意更改（例如，将页面移入和移出交换区时）并且不应依赖。

Answer 5

我想知道为什么没有用户级 API。

因为用户土地内存的物理地址是未知的。

Linux 对用户空间内存使用需求分页。 在访问之前，您的用户土地对象将没有物理内存。 当系统内存不足时，除非页面被进程锁定，否则您的用户土地对象可能会被换出并丢失物理内存。 当您再次访问该对象时，它会被换入并获得物理内存，但它可能与前一个物理内存不同。 您可以拍摄页面映射的快照，但不能保证下一刻是相同的。

因此，查找用户土地对象的物理地址通常是没有意义的。