使用Python中的SQLite将.csv文件导入SQL数据库

Question

我有2个.txt文件，并使用https://convertio.co/csv-xlsx/将它们转换为.csv文件。 现在，我想在Python中使用SQLite将这两个.csv文件导入两个数据库（UI为Jupyter Notebook）。 这两个.csv文件标记为person.csv和person_votes.csv 。 因此，我通过遵循此处给出的代码（ 使用CSV将CSV文件导入sqlite3数据库表）来做到这一点：

import sqlite3, csv

con = sqlite3.connect(":memory:")
cur = con.cursor()
cur.execute("CREATE TABLE person (personid STR,age STR,sex STR,primary_voting_address_id STR,state_code STR,state_fips STR,county_name STR,county_fips STR,city STR,zipcode STR, zip4 STR,  PRIMARY KEY(personid))") 

with open('person.csv','r') as person_table: # `with` statement available in 2.5+
    # csv.DictReader uses first line in file for column headings by default
    dr = csv.DictReader(person_table) # comma is default delimiter
#personid   age sex primary_voting_address_id   state_code  state_fips  county_name county_fips city    zipcode zip4
    to_db = [(i['personid'], i['age'], i['sex'], i['primary_voting_address_id'], i['state_code'], i['state_flips'], i['county_name'], i['county_fips'], i['city'], i['zipcode'], i['zip4']) for i in dr]

cur.executemany("INSERT INTO t (age, sex) VALUES (?, ?);", to_db)
con.commit()

我不明白为什么当我尝试执行上面的代码时，总是收到错误消息：“ KeyError：'personid'”。 有人可以帮忙吗？

另外，如果我在同一Python文件中为文件person_votes.csv创建另一个名为to_db2的数据库表，则以下查询将为我提供两个表之间的所有公共元素：

select ID from to_db, to_db2 WHERE to_db.ID ==  to_db2

指向上述两个.csv文件的链接位于： https : //drive.google.com/open?id=0B-cyvC6eCsyCQThUeEtGcWdBbBXc 。

Answer 1

这在Windows 10上适用于我，但在Linux / Unix下也应适用。 有几个问题：

1. person.csv的最后两行格式不正确，但这不会阻止程序运行。 您可以使用文本编辑器解决此问题。
2. person.csv使用制表符作为分隔符而不是逗号。
3. 在以“ to_db =“开头的行中有一个拼写错误（拼写）
4. 要导入的列数不匹配（2而不是11）
5. executemany上的表名称错误。

另外，我在文件而不是内存中创建数据库。 它很小，以至于性能不会成为问题，并且您所做的任何更改都将被保存。

这是我的更正文件（您可以自己创建另一个表）：

import sqlite3, csv

# con = sqlite3.connect(":memory:")
con = sqlite3.connect("person.db")
cur = con.cursor()
cur.execute("CREATE TABLE person (personid STR,age STR,sex STR,primary_voting_address_id STR,state_code STR,state_fips STR,county_name STR,county_fips STR,city STR,zipcode STR, zip4 STR,  PRIMARY KEY(personid))") 

with open('person.csv','r') as person_table:
    dr = csv.DictReader(person_table, delimiter='\t') # comma is default delimiter
    to_db = [(i['personid'], i['age'], i['sex'], i['primary_voting_address_id'], i['state_code'], i['state_fips'], i['county_name'], i['county_fips'], i['city'], i['zipcode'], i['zip4']) for i in dr]

cur.executemany("INSERT INTO person VALUES (?,?,?,?,?,?,?,?,?,?,?);", to_db)
con.commit()

Answer 2

看起来您可能在INSERT INTO ...语句中缺少某些列名。

将主键也保留为NULL可能不是一个好习惯。