用于jit代码的python mmap

Question

我正在尝试模仿本教程（ http://blog.reverberate.org/2012/12/hello-jit-world-joy-of-simple-jits.html ）来编写简单的jit。 我不确定mmap的python接口是否支持以下用例。 C代码（以防链接失效）如下所示。

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/mman.h>

int main(int argc, char *argv[]) {
  // Machine code for:
  //   mov eax, 0
  //   ret
  unsigned char code[] = {0xb8, 0x00, 0x00, 0x00, 0x00, 0xc3};

  if (argc < 2) {
    fprintf(stderr, "Usage: jit1 <integer>\n");
    return 1;
  }

  // Overwrite immediate value "0" in the instruction
  // with the user's value.  This will make our code:
  //   mov eax, <user's value>
  //   ret
  int num = atoi(argv[1]);
  memcpy(&code[1], &num, 4);

  // Allocate writable/executable memory.
  // Note: real programs should not map memory both writable
  // and executable because it is a security risk.
  void *mem = mmap(NULL, sizeof(code), PROT_WRITE | PROT_EXEC,
                   MAP_ANON | MAP_PRIVATE, -1, 0);
  memcpy(mem, code, sizeof(code));

  // The function will return the user's value.
  int (*func)() = mem;
  return func();
}

我的相同的python代码如下所示。

code = [0xb8, 0x00, 0x00, 0x00, 0x00, 0xc3]

import mmap
import ctypes

size_in_bytes = len(code) * 4
mem = mmap.mmap(-1, size_in_bytes, prot=mmap.PROT_WRITE | mmap.PROT_EXEC, flags= mmap.MAP_ANON | mmap.MAP_PRIVATE)
# mmap.mmap.move(mem, ctypes.addressof(code), size_in_bytes)

mem.write(ctypes.addressof(code), size_in_bytes)
ftype = ctypes.CFUNCTYPE(ctypes.c_int, ctypes.c_void_p)

f = ftype(mem)
f()

但是，运行此命令会给我错误。

Traceback (most recent call last):
  File "main.py", line 10, in <module>
    mem.write(ctypes.addressof(code), size_in_bytes)
TypeError: invalid type

所以我的问题是我们如何获取可写的mmap页面，以及如何复制数据以使其抖动。 如果无法从python直接访问此代码，我可以使用python c接口使用基础C实现来执行此操作吗？

我看过的大多数jit接口都使用llvm或其他一些底层jit。 但是我不太清楚PyPy是如何做到的。 有任何想法吗 ？

Answer 1

您需要将python列表转换为ctype数组：

arr = (ctypes.c_int * len(code))(*code)

然后addressof方法起作用：

>>ctypes.addressof(arr)
47651024

Answer 2

从调用函数的意义上讲，我可以进行以下工作。

from __future__ import print_function
import ctypes

code = bytes([0xb8, 0x00, 0x00, 0x00, 0x00, 0xc3])
arr = ctypes.create_string_buffer(code)

ftype = ctypes.CFUNCTYPE(ctypes.c_int)
f = ftype(ctypes.addressof(arr))
print("Ready to call f()!")
f()

不幸的是，在我的操作系统（FreeBSD）上，这会导致分段错误，因为数据段不可执行。

因此，我修改了代码以合并mmap ；

from __future__ import print_function
import ctypes
import mmap

code = bytes([0xb8, 0x00, 0x00, 0x00, 0x00, 0xc3])
ftype = ctypes.CFUNCTYPE(ctypes.c_int)

mem = mmap.mmap(-1, len(code), prot=mmap.PROT_WRITE | mmap.PROT_EXEC,
                flags=mmap.MAP_ANON | mmap.MAP_PRIVATE)
mem.write(code)
arr = ctypes.create_string_buffer(mem)

f = ftype(ctypes.addressof(arr))
print("Ready to call f()!")
f()

但这给出了TypeError：

Traceback (most recent call last):
  File "jit.py", line 11, in <module>
    arr = ctypes.create_string_buffer(mem)
  File "/usr/local/lib/python2.7/ctypes/__init__.py", line 68, in create_string_buffer
    raise TypeError(init)
TypeError: <mmap.mmap object at 0x8007cb928>

编辑：在ctypes/__init__.py查看create_string_buffer的代码，它仅接受str ， unicode ， int或long 。

模拟create_string_buffer可能会有所帮助，但是我现在没有时间尝试。

Edit2：似乎Python的mmap （ 源代码 ）忽略了PROT_EXEC标志。 那将解释段错误。