使用python将文本/csv文件中的数据导入sqlite表

Question

我正在开发一个 python 应用程序，在该应用程序中我连接到现有的 SQLite 数据库和表。 我有一个 CSV 文件，每行包含一个值（股票代码），我想使用 python 将所有值导入到现有表列“符号”中。 我怎样才能做到这一点？

我尝试过的是定义一个插入函数：

def insert(symbol):
    conn=sqlite3.connect("stocks.db")
    cur=conn.cursor()
    cur.executemany("INSERT INTO stocks (symbol) VALUES (?)", (symbol,))
    conn.commit()
    conn.close()

然后尝试在值中循环并从那里添加值：

with open("./stocks/sp500_tickers.csv") as data:
      tickers = data.read()
      for ticker in tickers:
          insert(ticker)

但是当我运行 python 代码时，我收到这个错误：

Traceback (most recent call last):
  File "fetch.py", line 64, in <module>
    insert(ticker)
  File "fetch.py", line 23, in insert
    cur.execute("INSERT INTO stocks (symbol) VALUES (?)", (symbol,))
sqlite3.IntegrityError: UNIQUE constraint failed: stocks.symbol

如果我这样尝试，也会发生同样的事情：

with open("./stocks/sp500_tickers.csv") as data:
      tickers = data.read()
      rows = tickers.split('\n')
      formatted = [tuple(x.split()) for x in rows]
      for ticker in tickers:
          insert(ticker)

该表的架构是：

        id INTEGER NOT NULL, 
        symbol VARCHAR, 
        name VARCHAR, 
        price NUMERIC(10, 2), 
        book_value NUMERIC(10, 2), 
        trailing_pe NUMERIC(10, 2), 
        forward_pe NUMERIC(10, 2), 
        trailing_eps NUMERIC(10, 2), 
        forward_eps NUMERIC(10, 2), 
        dividend_yield NUMERIC(10, 2), 
        ma50 NUMERIC(10, 2), 
        ma200 NUMERIC(10, 2), 
        sector VARCHAR, 
        growth_rate NUMERIC(10, 2), 
        PRIMARY KEY (id)
);
CREATE INDEX ix_stocks_id ON stocks (id);
CREATE UNIQUE INDEX ix_stocks_symbol ON stocks (symbol);

我的“sp500_tickers.csv”看起来像这样：

MMM
ABT
ABBV
ABMD
etc

非常欢迎任何帮助！

Answer 1

从错误信息

sqlite3.IntegrityError: UNIQUE constraint failed: stocks.symbol

您尝试插入到符号列中的值似乎不是唯一的。 为该列定义了唯一索引。

CREATE UNIQUE INDEX ix_stocks_symbol ON stocks (symbol);

您应该确保您插入的值是唯一的或删除唯一索引。

Answer 2

这个tickers = data.read()使得tickers一个大的字符串。 这for ticker in tickers:迭代字符串中的每个字符。 第二次尝试可以解决这个问题，如果不是因为这里for ticker in tickers:错误for ticker in tickers:

一旦输入转换为列表，实际上没有理由对其进行迭代； 这违背了executemany的目的:)