cost 370 ms
mmap 和指令/数据缓存一致性:为什么我们可以复制和运行共享库? - mmap and instruction / data cache coherency: Why can we copy and run shared libraries?

在 ARM 上,在向 memory 写入指令后,在执行指令之前需要一个 memory 屏障。 具体清理数据缓存,使指令缓存无效,然后在将执行代码的 CPU 上执行指令同步屏障 ( ISB )。 可以使用cp复制可执行文件或共享库,然后在没有显式 memory 障碍的情况下执行。 这相当于: 打开 ...

有没有办法在现有二进制文件周围包装 numpy `ndarray` 接口? - Is there a way to wrap an numpy `ndarray` interface around an existing binary file?

我有一个包含视频数据的 binary.network 捕获 ( .pcapng ) 文件。 我正在用 scapy 解析.pcapng并且我可以提取数据,但是我正在处理的视频序列非常大,如果我一次加载非常多的数据,我想要执行的操作很快就会让我的机器停止运转。 处理此问题的一种方法是提取所有数据并将其 ...

linux 上的 msync 保证 - msync guarantees on linux

msync是否保证将日期物理写入硬盘驱动器? 我能 100% 确定如果操作系统在msync返回后立即崩溃,我不会丢失数据吗? 100% 确定我的意思是数据被物理写入磁盘,而不仅仅是硬盘驱动器缓冲区。 简单地说,我想确保断电不会导致数据丢失。 ...

Musl mmap ENOMEM - Musl mmap ENOMEM

我针对 musl(x86_64、i686、arm)编译了一些交叉编译器。 我需要编译代码,分配大约 2048 Mb +- 200Mb。 但是我注意到 i686 musl 编译器有一些错误:#include <stdio.h> #include <sys/mman.h> #i ...

Azerothcore 错误 azerothcore-wotlk-ac-worldserver-1 | MMAP:loadMap: 5303231.mmtile 是用生成器 v15 构建的,预期为 v16 - Azerothcore error azerothcore-wotlk-ac-worldserver-1 | MMAP:loadMap: 5303231.mmtile was built with generator v15, expected v16

我最近更新了我的 Azerothcore docker 版本,但我遇到了一个错误:“azerothcore-wotlk-ac-worldserver-1 | MMAP:loadMap: 5303231.mmtile 是用生成器 v15 构建的,预期为 v16”。 我尝试按照 Azerothcore ...

使用 mmap 从文件中随机读取,但读取吞吐量不符合预期 - Use mmap for random read from file but the read throuput is not as expected

我将 kv 数据写入值大小为 100KB 且密钥大小为 10Bytes 的文件中。 只有值数据写入文件,键的索引存储在 ram 中。 我写了 10M 个密钥,得到了一个 1TB 的值文件。 我用的是nvme ssd和100G memory。然后我用mmap从文件中读取数据。 我得到 1.8GB/s ...

2023-01-04 08:57:16   1   45    c++ / c / io / mmap  
mmapped大文件的窗口控制(linux,mmap) - Window control for mmapped large file(linux, mmap)

映射大文件时如何控制RSS中的窗口? 现在让我解释一下我的意思。 例如,我们有一个超过 RAM 数倍的大文件,我们为多个进程进行共享内存映射,如果我们访问某个虚拟地址位于此映射内存中的对象并捕获页面错误,然后从磁盘读取,子问题是,如果我们不再使用给定的对象,是否会发生相反的情况? 如果像LRU一样 ...

内存映射后,有缓存时,进程仍然消耗物理 memory - After memory-mapping, the process still consumes physical memory when there is a cache

我想了解mmap 。 据我所知, mmap应该将 map 虚拟地址指向页面缓存,因此无需将数据从页面缓存复制到进程的虚拟 memory,最终整个机器中只有一个数据副本。 但是,当我尝试mmap并读取它时,我可以看到 memory 增加了文件读取大小的两倍,我对它的解释不正确还是我的代码有什么问题? ...

mmap 打开并从文件中读取 - mmap open and read from file

我正在映射一个巨大的文件,以避免我的应用程序抖动到主虚拟 memory,并且能够使用超过我拥有的 RAM 运行该应用程序。 代码为 c++,但部分遵循旧的 c API。 当我使用分配的指针时,memory 会根据需要返回到文件。 但是,当我下次运行该应用程序时,我希望从已经具有准备好的数据的同一个文 ...

2022-12-09 12:40:49   1   49    c++ / mmap  
两个进程在 linux 上映射同一个文件,memory 何时共享? - Two processes mmap same file on linux, when is the memory shared?

linux进程间共享同一个文件的物理memory backing mmap在什么情况下? 我明白,必要条件是MAP_SHARED 。 我知道,如果进程使用相同的文件描述符(例如,子进程从父进程继承它),则 memory 将被共享。 但是如果,例如,会发生什么每个进程自己打开文件? 一个打开它是为 ...

用户空间访问有效且由进程映射的页面 - UserSpace access to pages that are valid and mapped by a process

如果应用程序分配了 10GB,则不会分配所有页面(页面将在需要时使用按需分页分配) 如果我想知道哪些页面实际上是有效的和映射的。 我是否需要遍历该进程分配的每个页面来检查有效位? 或者 /proc 系统中有信息,或者有一种机制可以列出有效并映射到进程的页面,而无需 go 到 10GB 空间中的每个页 ...

我可以使用 memory 映射文件在数据生成处理工作流程中删除或改进磁盘 IO 时间吗? - Can I use memory mapping file to remove or improve the disk IO time in a data generating-processing workflow?

我有两个程序,第一个程序(我们称之为 A)创建大量数据并将它们保存在磁盘上,第二个程序(我们称之为 B)从磁盘读取数据并执行数据处理。 旧的工作流程是,我运行程序 A,将数据保存在磁盘上,然后运行程序 B,从磁盘加载数据,然后处理数据。 但是,这非常耗时,因为我们需要两个磁盘 IO 来处理大数据。 ...

在 python (swig) 中将 mmap 转换为 ctypes void ** - convert mmap to ctypes void ** in python (swig)

我已经使用 swig 在 C 中生成了一个库的包装器。 我需要在 python 中复制 C 中的代码,但我不知道如何将 go 从 mmap 复制到 void ** 在 C 中: 在 python 如何将 mmap 转换为指针? 如何获得双指针? 直接在 python 中执行此操作或通过实例化 li ...


 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM