從python中的sqlite3數據庫寫入CSV

Question

好的，所以我有一個名為 cars.db 的數據庫，它有一個表 == 庫存，

庫存基本上包含

    ('Ford', 'Hiluz', 2),
    ('Ford', 'Tek', 6),
    ('Ford', 'Outlander', 9),
    ('Honda', 'Dualis', 3),
    ('Honday', 'Elantre', 4)

然后我寫了這個，旨在將它編輯到 csv，但是，我似乎無法解決這個問題，在某些情況下，我可以打印一些東西，但它不正確，當我嘗試修復它時，沒有打印。 有什么建議可以讓我走上正軌嗎？

#write table to csv

import sqlite3
import csv

with sqlite3.connect("cars.db") as connection:
    csvWriter = csv.writer(open("output.csv", "w"))
    c = connection.cursor()

    rows = c.fetchall()

    for x in rows:
        csvWriter.writerows(x)

Answer 1

你應該這樣做：

rows = c.fetchall()
csvWriter.writerows(rows)

如果您遍歷行的原因是因為您不想在將它們寫入文件之前對其進行預處理，則使用writerow方法：

rows = c.fetchall()
for row in rows:
    # do your stuff
    csvWriter.writerow(row)

Answer 2

為了將標題放在第一行，cars.db 中的表庫存建議使用字典方法

import sqlite3
import csv
import os.path
BASE_DIR = os.path.dirname(os.path.abspath(__file__))
db_path = os.path.join(BASE_DIR, "cars.db")
conn = sqlite3.connect(db_path)
c = conn.cursor()
c.execute("SELECT rowid, * FROM inventory")    
columns = [column[0] for column in c.description]
results = []
for row in c.fetchall():
    results.append(dict(zip(columns, row)))
with open("output.csv", "w", newline='') as new_file:
    fieldnames = columns
    writer = csv.DictWriter(new_file,fieldnames=fieldnames)
    writer.writeheader()
    for line in results:
        writer.writerow(line)
conn.close()

Answer 3

使用 Pandas 應該具有更高的性能並且需要更少的代碼。 您可以將 sqlite 表中的數據保存到 Pandas DataFrame，然后使用 Pandas 寫入 CSV 文件。

df = pd.read_sql('SELECT * from cars', conn)
df.to_csv('cars.csv')

這是使用假數據創建 sqlite 表的完整代碼：

import pandas as pd
import sqlite3

# create Pandas DataFrame
data = [('Toyota', 'Hilux', 2),
    ('Ford', 'Tek', 6),
    ('Ford', 'Outlander', 9),
    ('Honda', 'Dualis', 3),
    ('Honday', 'Elantre', 4)]
df = pd.DataFrame.from_records(data, columns=['make', 'model', 'age'])

# establish sqlite connection
conn = sqlite3.connect('../tmp/cars.db')
c = conn.cursor()

# create sqlite table
c.execute('''CREATE TABLE cars (make text, model text, age int)''')

# add data to sqlite table
df.to_sql('cars', conn, if_exists='append', index = False)

# write sqlite table out as a CSV file
df = pd.read_sql('SELECT * from cars', conn)
df.to_csv('../tmp/cars.csv')

這是使用單個命令將 sqlite 數據庫中的所有表作為 CSV 文件寫出的代碼：

for table in c.execute("SELECT name FROM sqlite_master WHERE type='table';").fetchall():
    t = table[0]
    df = pd.read_sql('SELECT * from ' + t, conn)
    df.to_parquet('../tmp/' + t + '.csv')

請參閱此處了解更多信息。