如何从 CSV 中逐行读取数据并存储在数据库中

Question

我有一个包含 20 条记录的 csv 文件，这些记录需要存储在数据库内的表中。 我正在尝试逐行读取每一行，但不确定如何将其传递给一个检查与数据库的连接并存储在其中的函数。 我为数据库的连接对象创建了一个单独的配置文件。

我应该如何逐行读取 csv并将每一行数据传递给函数和存储它并对 csv 的每一行执行相同的操作。 我的代码如下：

# This variable stores the insert query to store data in database
query = """INSERT INTO product(product_id, product_name, description, product_value) 
values(%s, %s, %s, %s)"""

def create_product():
data = pd.read_csv('path/to/csv')
df = pd.DataFrame(data)
data_list = []

# How to Write This part?
# How will I pass an entire row in the function call and what to have in the argument like a 
# List or something
for row in df.iterrows():
    # print(row)
    input_data = ",".join(row)
    insert_data = output_data_to_DB(query, input_data, connect_db) # Calling Function
    data_list.append(insert_data)
    print(data_list)

# Called Function Here
def output_data_to_DB(insert_query, output_list, conn):
try:
    cur = conn.cursor()
    cur.execute(insert_query, output_list)
    print("row inserted with valueList : ", output_list)
    output_list.commit()
    cur.close()
    return ""
except Exception as e:
    connect_db.rollback()
    cur.close

我将不胜感激任何帮助。 我对python程序不太熟悉。

Answer 1

示例：熊猫

参考： https ://www.listendata.com/2019/06/pandas-read-csv.html

import pandas as pd
# read csv
data = pd.read_csv("your-file.csv")
# read csv and skip the header
data = pd.read_csv("your-file.csv", header = 1)
# read csv, define col names
data = pd.read_csv("your-file.csv", skiprows=1, names=['product_id', 'product_name'])

for row in data.iterrows():
  print(row)
  # process row value as you want
  res = output_data_to_DB(query, res, connect_db)

示例：python CSV 模块（<- 我推荐这个）

csv库足以和更简单地将每一行数据传递给函数。

def create_product():
    data_list = []

    with open('your-file.csv', newline='') as csvfile:
        reader = csv.reader(csvfile)
        next(reader)  # discard header
        for row in reader:
            print(row)  # e.g. `['foo', 'bar']`
            insert_data = output_data_to_DB(query, row, connect_db)
            data_list.append(insert_data)
        print(data_list)

--

编辑

主键（自增列）

向id等列添加自动递增值的一些选项可以是：

• 带有空id列的BULK INSERT
  • 带有标识（自动增量）列的 BULK INSERT
• AUTOINCREMENT关键字
  • https://www.sqlite.org/autoinc.html
  • 如何在不指定列名的情况下使用 AUTO_INCREMENT 列向数据库插入新行？
• 手动将值添加到 csv 文件或从中选择的行（<-我不推荐这样做）