解析 webstie 的 HTML 表以创建 SQLite 数据库，使用 Python（或迁移 CSV 文件）[重复]

Question

这个问题在这里已经有了答案：

使用 python 将 csv 文件转换为元组列表2 个回答

9 个月前关闭。

目标是解析在 texas中被处决的人的记录和他们的最后一条语句，并只插入执行号（已经授予主键）、执行年份，也许是年龄，以及他们最后一条语句的内容一个 SQLite 数据库，目的是根据重罪犯的长度（口才指标）为每一行分配 0 或 1，并对分配的 0 和 1 制作年度直方图。

@baduke 非常友好地帮助我解析部分，生成了一个 CSV 文件。 但是，我尝试将 CSV“移植”到 sqlite 文件失败了

尝试 1 ，感谢StackOverflow的 @Brian

import csv
import sqlite3

conn = sqlite3.connect('ExecDDBB.sqlite')
cur = conn.cursor()


#Execution,Offender Information,Last Statement URL,Last Name,First Name,TDCJNumber,Age,Date,Race,County,Last Statement
cur.execute('''CREATE TABLE IF NOT EXISTS RAWCSV
            (Execution INTEGER PRIMARY KEY, Offender_Information TEXT UNIQUE, Last_Statement_URL TEXT UNIQUE, Last_Name TEXT, First_Name TEXT, TDCJNUmber INTEGER, Age INTEGER, Date TEXT, Race TEXT, County TEXT, Last_Statement TEXT)''')

with open ('offenders_data.csv', 'r') as f:
    reader = csv.reader(f)
    columns = next(reader) 
    query = 'insert into RAWCSV({0}) values ({1})'
    query = query.format(','.join(columns), ','.join('?' * len(columns)))
    for data in reader:
        cur.execute(query, data)
cur.commit()

这给了我错误：

Traceback (most recent call last):
  File "D:\Dropbox\Currículum Vitae\py4e\Capstone\CSVtoSQL(table9).py", line 14, in <module>
    columns = next(reader)
  File "C:\Users\Javier López\AppData\Local\Programs\Python\Python39\lib\encodings\cp1252.py", line 23, in decode
    return codecs.charmap_decode(input,self.errors,decoding_table)[0]
UnicodeDecodeError: 'charmap' codec can't decode byte 0x9d in position 4917: character maps to <undefined>

尝试 2归功于先生。 lordvan 这个页面

import csv, uuid, dataset
import sqlite3

conn = sqlite3.connect('ExecDDBB.sqlite')
cur = conn.cursor()


#Execution,Offender Information,Last Statement URL,Last Name,First Name,TDCJNumber,Age,Date,Race,County,Last Statement
cur.execute('''CREATE TABLE IF NOT EXISTS RAWCSV
            (Execution INTEGER PRIMARY KEY, Offender_Information TEXT UNIQUE, Last_Statement_URL TEXT UNIQUE, Last_Name TEXT, First_Name TEXT, TDCJNUmber INTEGER, Age INTEGER, Date TEXT, Race TEXT, County TEXT, Last_Statement TEXT)''')

def csv2dataset(fin, fout):
    with open(fin, 'r') as finp:
        inpdata = csv.DictReader(finp)
        db = dataset.connect('sqlite:///' + fout)
        table = db['RAWCSV']
        for contact in inpdata:
            contact['uuid'] = uuid.uuid4().hex
            contact['verified'] = False
            table.insert(contact)

if __name__ == '__main__':
    csv2dataset('offenders_data.csv', 'ExecDDBB.sqlite')
    
cur.close()

这反过来又给了我以下错误

Traceback (most recent call last):
  File "D:\Dropbox\Currículum Vitae\py4e\Capstone\CSVtoSQL(table9).py", line 23, in <module>
    csv2dataset('offenders_data.csv', 'ExecDDBB.sqlite')
  File "D:\Dropbox\Currículum Vitae\py4e\Capstone\CSVtoSQL(table9).py", line 17, in csv2dataset
    for contact in inpdata:
  File "C:\Users\Javier López\AppData\Local\Programs\Python\Python39\lib\csv.py", line 110, in __next__
    self.fieldnames
  File "C:\Users\Javier López\AppData\Local\Programs\Python\Python39\lib\csv.py", line 97, in fieldnames
    self._fieldnames = next(self.reader)
  File "C:\Users\Javier López\AppData\Local\Programs\Python\Python39\lib\encodings\cp1252.py", line 23, in decode
    return codecs.charmap_decode(input,self.errors,decoding_table)[0]
UnicodeDecodeError: 'charmap' codec can't decode byte 0x9d in position 4917: character maps to <undefined>

我的想法是将所有 CSV 内容传输到一个名为 RAWCSV（或类似的东西）的表中，然后我将复制该表，删除我并不真正感兴趣的表，然后继续剪辑日期以获取年，并指定长度指示符。 之后我会运行另一个程序来创建直方图。

请提供任何建议或帮助调试？

Answer 1

如果您对 3rd 方软件包很灵活，请尝试使用 pandas。

import pandas as pd
df = pd.read_csv(...)
df.to_sql(...)

查看官方文档：

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.to_sql.html