[英]Python remove couple of duplicates from List
我知道类似的问题已经可以解决,但我认为我的情况有所不同。 我有一个带有大表(40.000多个条目)的mysql数据库,表结构是这样的:
Field | Type |Null |Key |Default | Extra
-----------------------------------------------------
Messaggio| longtext |NO | |NULL |
Id | bigint(20) |NO | |NULL |
Data | date |NO | |NULL |
Partito | text |NO | |NULL |
Numero | bigint(23) |NO |PRI |NULL |auto_increment
我必须删除在“ Messaggio”,“ Id”和“ Partito”中具有相同值的行的重复项,例如:
Messaggio |Id | Data | Partito | numero |
----------------------------------------------------------
long_text1 | 123 | somedate | M5s | 1 |
long_text1 | 123 | somedate | M5s | 2 |
long_text2 | 123 | somedate | M5s | 3 |
在这种情况下,我必须删除前两个条目之一。
我试过了
db = MySQLdb.connect(host="localhost", port=xxxxx, user="xxxxxxx", passwd="xxxxxx", db="xxxxx", charset='utf8', use_unicode=True)db.ping(True)
cursor = db.cursor()
cursor.execute("SET NAMES utf8;")
cursor.execute("SELECT `Messaggio`, `Id`, `Data`, `Partito`, `Numero` FROM `Statuses` WHERE 1")
data = cursor.fetchall()
data2 = (dict((x[0], x) for x in data).values()
print (data2)
print (len(data))
print (len(data2))
输出:
- a very long list
- 41804
- 39558
我不清楚这个代码是什么( (dict((x[0], x) for x in data).values()
)的作用(我对python很陌生,而且我也必须弄清楚字典的用法的工作原理是,它首先删除了相同的列表(在5个字段中具有相同的值),但这是不可能的,因为字段“ Numero”是AI,因此它不能重复(我已经在Mysql上查询过并且没有重复的“ Numero”)
我的问题:
为什么该代码删除了约2.000个项目? 它会删除任何重复项吗?
获得结果的最佳方法是什么?
它删除除了最后一条消息外具有相同消息消息的所有行,请考虑以下代码:
>>> {1:2, 1:3}
{1: 3}
您正在建立一个具有多个分配给同一个键的字典,只有最后一个确实存在
回到:
(dict((x[0], x) for x in data).values()
从末尾开始,它列出了字典的值
>>> {1:'a', 2:'b'}.values()
['a', 'b']
dict是通过生成器(“ tuple of tuples”)创建的:
>>> dict(((1,'a'),(2,'b')))
{1: 'a', 2: 'b'}
最内在的部分是这样的:
>>> list((x[0], x) for x in [[1,2,3], ['a','b','c']])
[(1, [1, 2, 3]), ('a', ['a', 'b', 'c'])]
所以我想你要使用:
(dict((x[0], x[1], x[3]), x) for x in data).values()
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.