仅使用python将csv文件中的特定行插入Sqlite3数据库

Question

我正在尝试将csv文件导入到我正在使用python编写的sqlite3数据库中。 我对于以这种方式导入数据和一般来说到sqlite3还不是很陌生。

我拥有的数据文件开始时往往具有不规则的格式，但是我想要的行将始终以日期字段（dd / mm / yy）和时间字段（hh：mm：ss）开头。 示例文件如下：

Hello I am a file, , , ,
I am a type of csv file, , , ,
Date, Time, ID number, Message
12/12/2012, 13:12:13, 1, Hello World
13/12/2012, 13:12:13, 2, Goodbye

因此，我只想导入第4和第5行（以及所有后续的带有日期的行），但跳过前3个描述文件和列标题的行。

到目前为止，我已经获得了读取数据的代码，然后将其与唯一标识符（logID）一起放入表中，但是目前，我只是从第4行开始读取-我想要一个更通用的代码文件不包含前三行Blurb时的解决方案。

#code above here opens the database and creates a cursor
with open(file) as csvfile:
    reader = csv.reader(csvfile, dialect='excel')
    for row in reader:
        if reader.line_num >= 4:
            values = logID + str(row[0]) + str(row[1]) + str(row[2]) + str(row[3])
            cursor.execute("INSERT INTO table VALUES(" +values+ ");")

在此先感谢您的帮助！

Answer 1

尝试将row的第一项转换为Python datetime.datetime对象。 如果可行，请处理该行，否则，请继续执行循环：

import datetime as DT
with open(file, 'rb') as csvfile:
    reader = csv.reader(csvfile, dialect='excel')
    for row in reader:
        try:
            date = DT.datetime.strptime(row[0], '%m/%d/%Y')
        except ValueError:
            continue 
    args = [logID] + row  
    sql = "INSERT INTO table VALUES ({})".format(', '.join(['?']*len(args)))
    cursor.execute(sql, args)

---

以上内容适用于中小型CSV。 如果您有一个庞大的CSV文件，则每行调用一次cursor.execute可能会很慢。 为了提高性能，请一次读取一大堆（例如1000条）行，并累积要插入到列表列表中的值manyargs 。 然后打电话

cursor.executemany("INSERT INTO table VALUES(?,?,?,?,?)", manyargs)

每块一次。

---

顺便说一下，使用字符串格式构造SQL命令，例如：

cursor.execute("INSERT INTO table VALUES(" +values+ ");")

可能会带来安全风险。 恶意构建的CSV文件可能利用此行来运行任意SQL命令（请参阅SQL注入和Little Bobby Tables ）。 为了防止这种情况，请使用参数化的SQL：

cursor.execute("INSERT INTO table VALUES(?,?,?,?,?)", args)

? 是一个地标-每个字段值一个地标。 args是包含您要插入的值的序列（例如元组或列表）。 请注意， args作为第二个参数传递给cursor.execute 。 您不必将args的值转换为字符串（尽管在这种情况下，它们是字符串，因为csv.reader产生字符串列表）。 sqlite3模块将为您处理参数的引用。