![](/img/trans.png)
[英]Python: fastest way to extract sublist from a list of objects given an attribute
[英]Fastest way to extract elements from a list that not matched condition in python
我正在寻找在条件下从列表中提取所有元组成员的最快方法 。
示例:从一个元组列表(例如[(0,0,4),(1,0,3),(1,2,1),(4,0,0)])中,我需要提取所有在第一元组位置具有3个以上,然后在第二元组位置具有2个以上,在最后一个元组位置具有1个以上。 在此示例中应提取(4,0,0)(->第一个条件),不提取任何内容(->第二个条件)和(0,0,4),(1,0,3)(->最后一个条件)。 这个例子很小,我需要在成千上万个元组的列表上执行。
根据我根据您的答案生成的代码,以下是几秒钟的结果:
my_naive1,就像EmilVikström提出的一样? 13.0360000134
my_naive2 110.727999926
蒂姆·皮茨克(Tim Pietzcker)9.8329999446
唐12.5640001297
import itertools, operator, time, copy
from operator import itemgetter
def combinations_with_replacement_counts(n, r): #(A, N) in our example.N individuals/balls in A genotypes/boxes
size = n + r - 1
for indices in itertools.combinations(range(size), n-1):
#print indices
starts = [0] + [index+1 for index in indices]
stops = indices + (size,)
yield tuple(map(operator.sub, stops, starts))
xp = list(combinations_with_replacement_counts(3,20)) # a very small case
a1=time.time()
temp=[]
for n in xp:
for n1 in xp:
for i in xp:
if i[0] <= min(n1[0],n[0]) or i[1] <= min(n1[1],n[1]) or i[2] <= min(n1[2],n[2]):
temp.append(i)
a2=time.time()
for n in xp:
for n1 in xp:
xp_copy = copy.deepcopy(xp)
for i in xp:
if i[0] > min(n[0],n[0]) or i[1] > min(n[1],n[1]) or i[2] > min(n[2],n[2]):
xp_copy.remove(i)
a3=time.time()
for n in xp:
for n1 in xp:
output = [t for t in xp if t[0]<=min(n[0],n[0]) or t[1]<=min(n[1],n[1]) or t[2]<=min(n[2],n[2])]
a4=time.time()
for n in xp:
for n1 in xp:
l1 = sorted(xp, key=itemgetter(0), reverse=True)
l1_fitered = []
for item in l1:
if item[0] <= min(n[0],n[0]):
break
l1_fitered.append(item)
l2 = sorted(l1_fitered, key=itemgetter(1), reverse=True)
l2_fitered = []
for item in l2:
if item[1] <= min(n[1],n[1]):
break
l2_fitered.append(item)
l3 = sorted(l2_fitered, key=itemgetter(2), reverse=True)
l3_fitered = []
for item in l3:
if item[2] <= min(n[2],n[2]):
break
l3_fitered.append(item)
a5=time.time()
print "soluce my_naive1, like proposed by Emil Vikström?",a2-a1
print "soluce my_naive2",a3-a2
print "soluce Tim Pietzcker",a4-a3
print "soluce Don",a5-a4
>>> l = [(0,0,4), (1,0,3), (1,2,1), (4,0,0)]
>>> output = [t for t in l if t[0]>3 or t[1]>2 or t[2]>1]
>>> output
[(0, 0, 4), (1, 0, 3), (4, 0, 0)]
这是快速的,因为仅在t[0]>3
为False
(与第三个条件相同)时才评估t[1]>2
。 因此,在您的示例列表中,仅需要8个比较。
如果改用生成器表达式,则可以节省时间和内存(取决于您对过滤后的数据执行的操作):
>>> l = [(0,0,4), (1,0,3), (1,2,1), (4,0,0)]
>>> for item in (t for t in l if t[0]>3 or t[1]>2 or t[2]>1):
>>> # do something with that item
有三个列表,每个条件一个,然后用for循环遍历输入集,将每个元组排序到正确的目标列表中。 这将以O(n)(线性)时间执行,这是此问题可能最快的渐近运行时间。 它也只会在列表上循环一次。
如果您不关心结果项的顺序,建议在排序列表中查找,并在第一个不匹配项上设置中断条件:这将跳过列表尾部。
from operator import itemgetter
l = [(..., ..., ...), (...)]
l1_source = sorted(l, key=itemgetter(0), reverse=True)
l1_fitered = []
for item in l1:
if item[0] <= 3:
break
l1_fitered .append(item)
l2 = sorted(l, key=itemgetter(1), reverse=True)
...
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.