Python 中的类 C 结构

Question

有没有办法在Python中方便的定义一个类C的结构体？ 我厌倦了写这样的东西：

class MyStruct():
    def __init__(self, field1, field2, field3):
        self.field1 = field1
        self.field2 = field2
        self.field3 = field3

Answer 1

更新：数据类

随着Python 3.7中数据类的引入，我们已经非常接近了。

下面的示例类似于下面的NamedTuple示例，但生成的对象是可变的，并且允许使用默认值。

from dataclasses import dataclass


@dataclass
class Point:
    x: float
    y: float
    z: float = 0.0


p = Point(1.5, 2.5)

print(p)  # Point(x=1.5, y=2.5, z=0.0)

如果您想使用更具体的类型注释，这可以很好地与新的输入模块配合使用。

我一直在等这个！ 如果你问我，数据类和新的NamedTuple声明，结合打字模块是天赐之物！

改进的 NamedTuple 声明

从Python 3.6 开始，它变得非常简单和漂亮（恕我直言），只要你能忍受不变性。

引入了一种声明 NamedTuples 的新方法，它也允许类型注释：

from typing import NamedTuple


class User(NamedTuple):
    name: str


class MyStruct(NamedTuple):
    foo: str
    bar: int
    baz: list
    qux: User


my_item = MyStruct('foo', 0, ['baz'], User('peter'))

print(my_item) # MyStruct(foo='foo', bar=0, baz=['baz'], qux=User(name='peter'))

Answer 2

使用命名的 tuple ，它被添加到 Python 2.6 标准库中的collections 模块中。 如果您需要支持 Python 2.4，也可以使用 Raymond Hettinger 的命名元组配方。

这对您的基本示例很好，但也涵盖了您稍后可能会遇到的一堆边缘情况。 您上面的片段将写为：

from collections import namedtuple
MyStruct = namedtuple("MyStruct", "field1 field2 field3")

新创建的类型可以这样使用：

m = MyStruct("foo", "bar", "baz")

您还可以使用命名参数：

m = MyStruct(field1="foo", field2="bar", field3="baz")

Answer 3

您可以将元组用于很多在 C 中使用结构的事情（例如 x,y 坐标或 RGB 颜色）。

对于其他所有内容，您可以使用字典或像这样的实用程序类：

>>> class Bunch:
...     def __init__(self, **kwds):
...         self.__dict__.update(kwds)
...
>>> mystruct = Bunch(field1=value1, field2=value2)

我认为“最终”讨论在这里，在 Python Cookbook 的已出版版本中。

Answer 4

也许您正在寻找没有构造函数的结构：

class Sample:
  name = ''
  average = 0.0
  values = None # list cannot be initialized here!


s1 = Sample()
s1.name = "sample 1"
s1.values = []
s1.values.append(1)
s1.values.append(2)
s1.values.append(3)

s2 = Sample()
s2.name = "sample 2"
s2.values = []
s2.values.append(4)

for v in s1.values:   # prints 1,2,3 --> OK.
  print v
print "***"
for v in s2.values:   # prints 4 --> OK.
  print v

Answer 5

字典呢？

像这样的东西：

myStruct = {'field1': 'some val', 'field2': 'some val'}

然后您可以使用它来操作值：

print myStruct['field1']
myStruct['field2'] = 'some other values'

并且值不必是字符串。 它们几乎可以是任何其他对象。

Answer 6

dF：那太酷了……我不知道我可以使用 dict 访问类中的字段。

马克：我希望我有这个的情况正是当我想要一个元组但没有像字典那么“重”的时候。

您可以使用字典访问类的字段，因为类的字段、它的方法和它的所有属性都是使用 dicts 内部存储的（至少在 CPython 中）。

...这使我们看到您的第二条评论。 相信 Python dicts 是“沉重的”是一个非常非 Pythonistic 的概念。 阅读这些评论会扼杀我的 Python Zen。 这不好。

你看，当你声明一个类时，你实际上是在为字典创建一个非常复杂的包装器——所以，如果有的话，你会增加比使用简单字典更多的开销。 顺便说一句，在任何情况下都是没有意义的开销。 如果您正在开发性能关键的应用程序，请使用 C 或其他东西。

Answer 7

我还想添加一个使用插槽的解决方案：

class Point:
    __slots__ = ["x", "y"]
    def __init__(self, x, y):
        self.x = x
        self.y = y

一定要检查插槽的文档，但对插槽的快速解释是，这是 Python 的说法：“如果您可以锁定这些属性，并且仅将这些属性锁定到类中，这样您就不会在类中添加任何新属性被实例化（是的，您可以向类实例添加新属性，请参见下面的示例）然后我将取消允许向类实例添加新属性的大内存分配，并仅使用这些插槽属性所需的内容“。

向类实例添加属性的示例（因此不使用插槽）：

class Point:
    def __init__(self, x, y):
        self.x = x
        self.y = y

p1 = Point(3,5)
p1.z = 8
print(p1.z)

输出：8

尝试向使用插槽的类实例添加属性的示例：

class Point:
    __slots__ = ["x", "y"]
    def __init__(self, x, y):
        self.x = x
        self.y = y

p1 = Point(3,5)
p1.z = 8

输出：AttributeError: 'Point' 对象没有属性 'z'

这可以有效地用作结构体，并且比类使用更少的内存（就像结构体一样，虽然我还没有研究到底有多少）。 如果您将创建对象的大量实例并且不需要添加属性，则建议使用插槽。 一个点对象就是一个很好的例子，因为一个人可能会实例化许多点来描述一个数据集。

Answer 8

您可以对标准库中可用的 C 结构进行子类化。 ctypes模块提供了一个Structure 类。 文档中的示例：

>>> from ctypes import *
>>> class POINT(Structure):
...     _fields_ = [("x", c_int),
...                 ("y", c_int)]
...
>>> point = POINT(10, 20)
>>> print point.x, point.y
10 20
>>> point = POINT(y=5)
>>> print point.x, point.y
0 5
>>> POINT(1, 2, 3)
Traceback (most recent call last):
  File "<stdin>", line 1, in ?
ValueError: too many initializers
>>>
>>> class RECT(Structure):
...     _fields_ = [("upperleft", POINT),
...                 ("lowerright", POINT)]
...
>>> rc = RECT(point)
>>> print rc.upperleft.x, rc.upperleft.y
0 5
>>> print rc.lowerright.x, rc.lowerright.y
0 0
>>>

Answer 9

您还可以通过位置将 init 参数传递给实例变量

# Abstract struct class       
class Struct:
    def __init__ (self, *argv, **argd):
        if len(argd):
            # Update by dictionary
            self.__dict__.update (argd)
        else:
            # Update by position
            attrs = filter (lambda x: x[0:2] != "__", dir(self))
            for n in range(len(argv)):
                setattr(self, attrs[n], argv[n])

# Specific class
class Point3dStruct (Struct):
    x = 0
    y = 0
    z = 0

pt1 = Point3dStruct()
pt1.x = 10

print pt1.x
print "-"*10

pt2 = Point3dStruct(5, 6)

print pt2.x, pt2.y
print "-"*10

pt3 = Point3dStruct (x=1, y=2, z=3)
print pt3.x, pt3.y, pt3.z
print "-"*10

Answer 10

每当我需要一个“行为也像字典的即时数据对象”（我不认为 C 结构体！）时，我会想到这个可爱的 hack：

class Map(dict):
    def __init__(self, **kwargs):
        super(Map, self).__init__(**kwargs)
        self.__dict__ = self

现在你可以说：

struct = Map(field1='foo', field2='bar', field3=42)

self.assertEquals('bar', struct.field2)
self.assertEquals(42, struct['field3'])

当你需要一个“不是类的数据包”时，以及当命名元组难以理解时，这非常方便......

Answer 11

这里的一些答案非常详尽。 我发现的最简单的选项是（来自： http : //norvig.com/python-iaq.html ）：

class Struct:
    "A structure that can have any fields defined."
    def __init__(self, **entries): self.__dict__.update(entries)

初始化：

>>> options = Struct(answer=42, linelen=80, font='courier')
>>> options.answer
42

添加更多：

>>> options.cat = "dog"
>>> options.cat
dog

编辑：抱歉没有看到这个例子已经进一步下降。

Answer 12

您可以通过以下方式在 python 中访问 C 样式结构。

class cstruct:
    var_i = 0
    var_f = 0.0
    var_str = ""

如果你只想使用 cstruct 的对象

obj = cstruct()
obj.var_i = 50
obj.var_f = 50.00
obj.var_str = "fifty"
print "cstruct: obj i=%d f=%f s=%s" %(obj.var_i, obj.var_f, obj.var_str)

如果你想创建一个 cstruct 对象数组

obj_array = [cstruct() for i in range(10)]
obj_array[0].var_i = 10
obj_array[0].var_f = 10.00
obj_array[0].var_str = "ten"

#go ahead and fill rest of array instaces of struct

#print all the value
for i in range(10):
    print "cstruct: obj_array i=%d f=%f s=%s" %(obj_array[i].var_i, obj_array[i].var_f, obj_array[i].var_str)

注意：不要使用“cstruct”名称，请使用您的结构名称而不是var_i、var_f、var_str，请定义您的结构的成员变量。

Answer 13

这可能有点晚了，但我使用 Python 元类（下面的装饰器版本）做了一个解决方案。

在运行时调用__init__时，它会获取每个参数及其值，并将它们作为实例变量分配给您的类。 通过这种方式，您可以创建一个类似结构的类，而无需手动分配每个值。

我的示例没有错误检查，因此更容易遵循。

class MyStruct(type):
    def __call__(cls, *args, **kwargs):
        names = cls.__init__.func_code.co_varnames[1:]

        self = type.__call__(cls, *args, **kwargs)

        for name, value in zip(names, args):
            setattr(self , name, value)

        for name, value in kwargs.iteritems():
            setattr(self , name, value)
        return self 

这是在行动。

>>> class MyClass(object):
    __metaclass__ = MyStruct
    def __init__(self, a, b, c):
        pass


>>> my_instance = MyClass(1, 2, 3)
>>> my_instance.a
1
>>> 

我在 reddit 上发布了它， /u/matchu发布了一个更干净的装饰器版本。 我鼓励您使用它，除非您想扩展元类版本。

>>> def init_all_args(fn):
    @wraps(fn)
    def wrapped_init(self, *args, **kwargs):
        names = fn.func_code.co_varnames[1:]

        for name, value in zip(names, args):
            setattr(self, name, value)

        for name, value in kwargs.iteritems():
            setattr(self, name, value)

    return wrapped_init

>>> class Test(object):
    @init_all_args
    def __init__(self, a, b):
        pass


>>> a = Test(1, 2)
>>> a.a
1
>>> 

Answer 14

我写了一个装饰器，你可以在任何方法上使用它来制作它，以便所有传入的参数或任何默认值都分配给实例。

def argumentsToAttributes(method):
    argumentNames = method.func_code.co_varnames[1:]

    # Generate a dictionary of default values:
    defaultsDict = {}
    defaults = method.func_defaults if method.func_defaults else ()
    for i, default in enumerate(defaults, start = len(argumentNames) - len(defaults)):
        defaultsDict[argumentNames[i]] = default

    def newMethod(self, *args, **kwargs):
        # Use the positional arguments.
        for name, value in zip(argumentNames, args):
            setattr(self, name, value)

        # Add the key word arguments. If anything is missing, use the default.
        for name in argumentNames[len(args):]:
            setattr(self, name, kwargs.get(name, defaultsDict[name]))

        # Run whatever else the method needs to do.
        method(self, *args, **kwargs)

    return newMethod

快速演示。 请注意，我使用位置参数a ，使用b的默认值和命名参数c 。 然后我打印所有 3 个引用self ，以表明在输入方法之前它们已被正确分配。

class A(object):
    @argumentsToAttributes
    def __init__(self, a, b = 'Invisible', c = 'Hello'):
        print(self.a)
        print(self.b)
        print(self.c)

A('Why', c = 'Nothing')

请注意，我的装饰器应该使用任何方法，而不仅仅是__init__ 。

Answer 15

我在这里没有看到这个答案，所以我想我会添加它，因为我现在正在学习 Python 并且刚刚发现它。 Python 教程（本例中为 Python 2）给出了以下简单有效的示例：

class Employee:
    pass

john = Employee()  # Create an empty employee record

# Fill the fields of the record
john.name = 'John Doe'
john.dept = 'computer lab'
john.salary = 1000

也就是说，创建一个空的类对象，然后实例化，并动态添加字段。

这样做的好处是它非常简单。 缺点是它不是特别自我记录（预期成员未在类“定义”中的任何地方列出），并且未设置的字段在访问时可能会导致问题。 这两个问题可以通过以下方式解决：

class Employee:
    def __init__ (self):
        self.name = None # or whatever
        self.dept = None
        self.salary = None

现在一目了然，您至少可以看到程序需要哪些字段。

两者都容易出现错别字， john.slarly = 1000会成功。 尽管如此，它仍然有效。

Answer 16

这是一个使用类（从未实例化）来保存数据的解决方案。 我喜欢这种方式只需要很少的打字，不需要任何额外的包等。

class myStruct:
    field1 = "one"
    field2 = "2"

您可以稍后根据需要添加更多字段：

myStruct.field3 = 3

要获取这些值，可以像往常一样访问这些字段：

>>> myStruct.field1
'one'

Answer 17

就个人而言，我也喜欢这种变体。 它扩展了@dF 的答案。

class struct:
    def __init__(self, *sequential, **named):
        fields = dict(zip(sequential, [None]*len(sequential)), **named)
        self.__dict__.update(fields)
    def __repr__(self):
        return str(self.__dict__)

它支持两种初始化模式（可以混合）：

# Struct with field1, field2, field3 that are initialized to None.
mystruct1 = struct("field1", "field2", "field3") 
# Struct with field1, field2, field3 that are initialized according to arguments.
mystruct2 = struct(field1=1, field2=2, field3=3)

此外，它打印得更好：

print(mystruct2)
# Prints: {'field3': 3, 'field1': 1, 'field2': 2}

Answer 18

有一个专门用于此目的的 python 包。 见cstruct2py

cstruct2py是一个纯 python 库，用于从 C 代码生成 python 类并使用它们来打包cstruct2py包数据。 该库可以解析 C 头文件（结构、联合、枚举和数组声明）并在 python 中模拟它们。 生成的pythonic类可以解析和打包数据。

例如：

typedef struct {
  int x;
  int y;
} Point;

after generating pythonic class...
p = Point(x=0x1234, y=0x5678)
p.packed == "\x34\x12\x00\x00\x78\x56\x00\x00"

如何使用

首先我们需要生成pythonic结构：

import cstruct2py
parser = cstruct2py.c2py.Parser()
parser.parse_file('examples/example.h')

现在我们可以从 C 代码中导入所有名称：

parser.update_globals(globals())

我们也可以直接这样做：

A = parser.parse_string('struct A { int x; int y;};')

使用 C 代码中的类型和定义

a = A()
a.x = 45
print a
buf = a.packed
b = A(buf)
print b
c = A('aaaa11112222', 2)
print c
print repr(c)

输出将是：

{'x':0x2d, 'y':0x0}
{'x':0x2d, 'y':0x0}
{'x':0x31316161, 'y':0x32323131}
A('aa111122', x=0x31316161, y=0x32323131)

克隆

对于克隆cstruct2py运行：

git clone https://github.com/st0ky/cstruct2py.git --recursive

Answer 19

NamedTuple很舒服。 但没有人共享性能和存储。

from typing import NamedTuple
import guppy  # pip install guppy
import timeit


class User:
    def __init__(self, name: str, uid: int):
        self.name = name
        self.uid = uid


class UserSlot:
    __slots__ = ('name', 'uid')

    def __init__(self, name: str, uid: int):
        self.name = name
        self.uid = uid


class UserTuple(NamedTuple):
    # __slots__ = ()  # AttributeError: Cannot overwrite NamedTuple attribute __slots__
    name: str
    uid: int


def get_fn(obj, attr_name: str):
    def get():
        getattr(obj, attr_name)
    return get

if 'memory test':
    obj = [User('Carson', 1) for _ in range(1000000)]      # Cumulative: 189138883
    obj_slot = [UserSlot('Carson', 1) for _ in range(1000000)]          # 77718299  <-- winner
    obj_namedtuple = [UserTuple('Carson', 1) for _ in range(1000000)]   # 85718297
    print(guppy.hpy().heap())  # Run this function individually. 
    """
    Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
     0 1000000    24 112000000 34 112000000  34 dict of __main__.User
     1 1000000    24 64000000  19 176000000  53 __main__.UserTuple
     2 1000000    24 56000000  17 232000000  70 __main__.User
     3 1000000    24 56000000  17 288000000  87 __main__.UserSlot
     ...
    """

if 'performance test':
    obj = User('Carson', 1)
    obj_slot = UserSlot('Carson', 1)
    obj_tuple = UserTuple('Carson', 1)

    time_normal = min(timeit.repeat(get_fn(obj, 'name'), repeat=20))
    print(time_normal)  # 0.12550550000000005

    time_slot = min(timeit.repeat(get_fn(obj_slot, 'name'), repeat=20))
    print(time_slot)  # 0.1368690000000008

    time_tuple = min(timeit.repeat(get_fn(obj_tuple, 'name'), repeat=20))
    print(time_tuple)  # 0.16006120000000124

    print(time_tuple/time_slot)  # 1.1694481584580898  # The slot is almost 17% faster than NamedTuple on Windows. (Python 3.7.7)

如果您的__dict__没有使用，请选择__slots__ （更高的性能和存储）和NamedTuple （清晰读取和使用）

您可以查看此链接（ 插槽的用法）以获取更多__slots__信息。

Answer 20

以下结构体解决方案的灵感来自于 namedtuple 实现和之前的一些答案。 但是，与namedtuple 不同的是，它的值是可变的，但就像名称/属性中的c 样式结构不可变一样，普通类或字典不是。

_class_template = """\
class {typename}:
def __init__(self, *args, **kwargs):
    fields = {field_names!r}

    for x in fields:
        setattr(self, x, None)            

    for name, value in zip(fields, args):
        setattr(self, name, value)

    for name, value in kwargs.items():
        setattr(self, name, value)            

def __repr__(self):
    return str(vars(self))

def __setattr__(self, name, value):
    if name not in {field_names!r}:
        raise KeyError("invalid name: %s" % name)
    object.__setattr__(self, name, value)            
"""

def struct(typename, field_names):

    class_definition = _class_template.format(
        typename = typename,
        field_names = field_names)

    namespace = dict(__name__='struct_%s' % typename)
    exec(class_definition, namespace)
    result = namespace[typename]
    result._source = class_definition

    return result

用法：

Person = struct('Person', ['firstname','lastname'])
generic = Person()
michael = Person('Michael')
jones = Person(lastname = 'Jones')


In [168]: michael.middlename = 'ben'
Traceback (most recent call last):

  File "<ipython-input-168-b31c393c0d67>", line 1, in <module>
michael.middlename = 'ben'

  File "<string>", line 19, in __setattr__

KeyError: 'invalid name: middlename'

Answer 21

这是一个快速而肮脏的技巧：

>>> ms = Warning()
>>> ms.foo = 123
>>> ms.bar = 'akafrit'

它是如何工作的？ 它只是重新使用内置类Warning （派生自Exception ）并将其用作您自己定义的类。

好处是你不需要先导入或定义任何东西，“警告”是一个短名称，它也清楚地表明你正在做一些肮脏的事情，除了你的小脚本之外，不应在其他地方使用。

顺便说一句，我试图找到更简单的东西，比如ms = object()但找不到（最后一个例子不起作用）。 如果你有一个，我有兴趣。

Answer 22

https://stackoverflow.com/a/32448434/159695在 Python3 中不起作用。

https://stackoverflow.com/a/35993/159695适用于 Python3。

我扩展它以添加默认值。

class myStruct:
    def __init__(self, **kwds):
        self.x=0
        self.__dict__.update(kwds) # Must be last to accept assigned member variable.
    def __repr__(self):
        args = ['%s=%s' % (k, repr(v)) for (k,v) in vars(self).items()]
        return '%s(%s)' % ( self.__class__.__qualname__, ', '.join(args) )

a=myStruct()
b=myStruct(x=3,y='test')
c=myStruct(x='str')

>>> a
myStruct(x=0)
>>> b
myStruct(x=3, y='test')
>>> c
myStruct(x='str')

Answer 23

如果您没有 @dataclass 的 3.7 并且需要可变性，那么以下代码可能适合您。 它是完全自文档化和 IDE 友好的（自动完成），防止写两次，很容易扩展，测试所有实例变量是否完全初始化非常简单：

class Params():
    def __init__(self):
        self.var1 : int = None
        self.var2 : str = None

    def are_all_defined(self):
        for key, value in self.__dict__.items():
            assert (value is not None), "instance variable {} is still None".format(key)
        return True


params = Params()
params.var1 = 2
params.var2 = 'hello'
assert(params.are_all_defined)

Answer 24

我发现这样做的最好方法是使用自定义字典类，如本文所述： https : //stackoverflow.com/a/14620633/8484485

如果需要 iPython 自动完成支持，只需像这样定义dir () 函数：

class AttrDict(dict):
    def __init__(self, *args, **kwargs):
        super(AttrDict, self).__init__(*args, **kwargs)
        self.__dict__ = self
    def __dir__(self):
        return self.keys()

然后你像这样定义你的伪结构：（这个是嵌套的）

my_struct=AttrDict ({
    'com1':AttrDict ({
        'inst':[0x05],
        'numbytes':2,
        'canpayload':False,
        'payload':None
    })
})

然后，您可以像这样访问 my_struct 中的值：

print(my_struct.com1.inst)

=> [5]

Answer 25

我认为Python结构字典适合这个需求。

d = dict{}
d[field1] = field1
d[field2] = field2
d[field2] = field3

Answer 26

我能想到的最干净的方法是使用一个 class 装饰器，它可以让你声明一个 static class 并将其重写为具有正常命名属性的结构：

@as_struct
class Product():
    name = 'unknown product'
    sku = '-'
    quantity = -1
    
p = Product('plush toy', '12-345-6789')

p.name     # plush toy
p.sku      # 12-345-6789
p.quantity # -1 

使用以下装饰器代码：

def as_struct(struct_class):
    # create a new init
    def struct_init(self, *args):
        i = 0 # we really don't need enumerate here...
        for value in args:
            name = field_names[i]
            default_value = field_values[i]
            setattr(self, name, value if value is not None else default_value)
            i += 1 # ...we just need to inc an int
            if i == len(args):
                break
    # extract the struct fields
    field_names = []
    field_values = []
    for attr_name in dir(struct_class):
        if not attr_name.startswith('_'):
            value = getattr(struct_class, attr_name)
            if not callable(value):
                field_names.append(attr_name)
                field_values.append(value)
    # rebind and return
    struct_class.__init__ = struct_init
    return struct_class

它的工作原理是采用 class，提取字段名称及其默认值，然后重写类的__init__ function以根据知道哪个参数索引映射到哪个属性名称来设置self属性。