映射MMIO區域回寫不起作用

Question

我希望所有對PCIe設備的讀寫請求都由CPU緩存進行緩存。 但是，它沒有像我預期的那樣工作。

這些是我對回寫MMIO區域的假設。

1. 寫入PCIe設備僅在高速緩存寫回時發生。
2. TLP有效載荷的大小是高速緩存塊大小（64B）。

但是，捕獲的TLP不遵循我的假設。

1. 每次寫入MMIO區域時都會寫入PCIe設備。
2. TLP有效載荷的大小為1B。

我使用以下用戶空間程序和設備驅動程序向MMIO區域寫入8字節的0xff 。

用戶程序的一部分

struct pcie_ioctl ioctl_control;
ioctl_control.bar_select = BAR_ID;
ioctl_control.num_bytes_to_write = atoi(argv[1]);
if (ioctl(fd, IOCTL_WRITE_0xFF, &ioctl_control) < 0) {
    printf("ioctl failed\n");
}

部分設備驅動程序

case IOCTL_WRITE_0xFF:
{
    int i;
    char *buff;
    struct pci_cdev_struct *pci_cdev = pci_get_drvdata(fpga_pcie_dev.pci_device);
    copy_from_user(&ioctl_control, (void __user *)arg, sizeof(ioctl_control));
    buff = kmalloc(sizeof(char) * ioctl_control.num_bytes_to_write, GFP_KERNEL);
    for (i = 0; i < ioctl_control.num_bytes_to_write; i++) {
        buff[i] = 0xff;
    }
    memcpy(pci_cdev->bar[ioctl_control.bar_select], buff, ioctl_control.num_bytes_to_write);
    kfree(buff);
    break;
}

我修改了MTRR以使相應的MMIO區域回寫。 MMIO區域從0x0c7300000開始，長度為0x100000（1MB）。 以下是不同政策的cat /proc/mtrr結果。 請注意，我將每個地區都排除在外。

不可緩存

reg00: base=0x080000000 ( 2048MB), size= 1024MB, count=1: uncachable
reg01: base=0x380000000000 (58720256MB), size=524288MB, count=1: uncachable
reg02: base=0x0c0000000 ( 3072MB), size=   64MB, count=1: uncachable
reg03: base=0x0c4000000 ( 3136MB), size=   32MB, count=1: uncachable
reg04: base=0x0c6000000 ( 3168MB), size=   16MB, count=1: uncachable
reg05: base=0x0c7000000 ( 3184MB), size=    1MB, count=1: uncachable
reg06: base=0x0c7100000 ( 3185MB), size=    1MB, count=1: uncachable
reg07: base=0x0c7200000 ( 3186MB), size=    1MB, count=1: uncachable
reg08: base=0x0c7300000 ( 3187MB), size=    1MB, count=1: uncachable
reg09: base=0x0c7400000 ( 3188MB), size=    1MB, count=1: uncachable

寫結合

reg00: base=0x080000000 ( 2048MB), size= 1024MB, count=1: uncachable
reg01: base=0x380000000000 (58720256MB), size=524288MB, count=1: uncachable
reg02: base=0x0c0000000 ( 3072MB), size=   64MB, count=1: uncachable
reg03: base=0x0c4000000 ( 3136MB), size=   32MB, count=1: uncachable
reg04: base=0x0c6000000 ( 3168MB), size=   16MB, count=1: uncachable
reg05: base=0x0c7000000 ( 3184MB), size=    1MB, count=1: uncachable
reg06: base=0x0c7100000 ( 3185MB), size=    1MB, count=1: uncachable
reg07: base=0x0c7200000 ( 3186MB), size=    1MB, count=1: uncachable
reg08: base=0x0c7300000 ( 3187MB), size=    1MB, count=1: write-combining
reg09: base=0x0c7400000 ( 3188MB), size=    1MB, count=1: uncachable

回寫

reg00: base=0x080000000 ( 2048MB), size= 1024MB, count=1: uncachable
reg01: base=0x380000000000 (58720256MB), size=524288MB, count=1: uncachable
reg02: base=0x0c0000000 ( 3072MB), size=   64MB, count=1: uncachable
reg03: base=0x0c4000000 ( 3136MB), size=   32MB, count=1: uncachable
reg04: base=0x0c6000000 ( 3168MB), size=   16MB, count=1: uncachable
reg05: base=0x0c7000000 ( 3184MB), size=    1MB, count=1: uncachable
reg06: base=0x0c7100000 ( 3185MB), size=    1MB, count=1: uncachable
reg07: base=0x0c7200000 ( 3186MB), size=    1MB, count=1: uncachable
reg08: base=0x0c7300000 ( 3187MB), size=    1MB, count=1: write-back
reg09: base=0x0c7400000 ( 3188MB), size=    1MB, count=1: uncachable

以下是使用不同策略進行8B寫入的波形捕獲。 我使用集成邏輯分析儀（ILA）來捕獲這些波形。 敬請收看pcie_endpoint_litepcietlpdepacketizer_tlp_req_payload_dat時pcie_endpoint_litepcietlpdepacketizer_tlp_req_valid設置。 您可以通過計算這些波形示例中的pcie_endpoint_litepcietlpdepacketizer_tlp_req_valid來計算數據包的數量。

1. Uncacheable ： link - > correct，1B x 8包
2. 寫入組合 ： 鏈接 - >正確，8B x 1數據包
3. 回寫 ： 鏈接 - >意外，1B x 8數據包

系統配置如下。

• CPU ：Intel（R）Xeon（R）CPU E5-2630 v4 @ 2.20GHz
• 操作系統 ：Linux內核4.15.0-38
• PCIe器件 ：采用litepcie編程的Xilinx FPGA KC705

相關鏈接

1. 從x86 CPU生成64字節讀取PCIe TLP
2. 如何在英特爾®架構上實現64B PCIe *突發傳輸
3. 寫入組合緩沖區無序寫入和PCIe
4. Ryzen是否支持內存映射IO的回寫緩存（通過PCIe接口）？
5. MTRR（存儲器類型范圍寄存器）控制
6. PATting Linux
7. 下至TLP：PCI Express設備如何通話（第一部分）

Answer 1

簡而言之，映射MMIO區域回寫似乎不適用於設計。

如果有人發現可能，請上傳答案。

我來找John McCalpin的文章和答案。 首先，不可能映射MMIO區域回寫。 其次，某些處理器可以采用解決方法。

1. 映射MMIO區域回寫是不可能的

   從這個鏈接引用

   僅供參考：WB類型不適用於內存映射IO。 您可以對這些位進行編程以將映射設置為WB，但是一旦獲得不知道如何處理的事務，系統就會崩潰。 理論上可以使用WP或WT從MMIO獲取緩存讀取，但必須在軟件中處理一致性。

   從這個鏈接引用

   只有當我將PAT和MTRR都設置為WB時，內核才會崩潰

2. 某些處理器可以解決方法

   關於緩存訪問內存映射IO區域的注意事項，John McCalpin

   有一組映射可以在至少一些x86-64處理器上工作，它基於兩次映射MMIO空間。 使用一組允許寫入組合存儲的屬性（但只有未緩存的讀取）映射MMIO范圍。 使用允許緩存行讀取（但僅限未緩存，非寫入組合存儲）的一組屬性第二次映射MMIO范圍。