正確安裝sqlite3並支持FTS5

Question

我正在開發一個Python工具，它使用帶有FTS5 （全文搜索）的sqlite3虛擬表。 我想知道如何從tarball（或任何其他方法）正確安裝我的工具所需的工作，以便我可以打包它們以便攜帶。

目前，我設法安裝最新版本的sqlite tarball 。 但是，當我執行時：

python3 -c "import sqlite3; print(sqlite3.sqlite_version)"
# or
python2 -c "import sqlite3; print(sqlite3.sqlite_version)"

我得到3.11.0 ，而sqlite3 --version返回： 3.22.0 2018-01-22 18:45:57 0c55d179733b46d8d0ba4d88e01a25e10677046ee3da1d5b1581e86726f2alt1

系統版本sqlite3 3.22確實支持FTS5，因為我是pragma compile_options; 得到：

COMPILER=gcc-5.4.0 20160609
ENABLE_DBSTAT_VTAB
ENABLE_FTS4
**ENABLE_FTS5**
ENABLE_JSON1
ENABLE_RTREE
ENABLE_STMTVTAB
ENABLE_UNKNOWN_SQL_FUNCTION
HAVE_ISNAN
THREADSAFE=1

但是，python版本，使用此腳本返回：

[(u'ENABLE_COLUMN_METADATA',), (u'ENABLE_DBSTAT_VTAB',), (u'ENABLE_FTS3',), (u'ENABLE_FTS3_PARENTHESIS',), (u'ENABLE_JSON1',), (u'ENABLE_LOAD_EXTENSION',), (u'ENABLE_RTREE',), (u'ENABLE_UNLOCK_NOTIFY',), (u'ENABLE_UPDATE_DELETE_LIMIT',), (u'HAVE_ISNAN',), (u'LIKE_DOESNT_MATCH_BLOBS',), (u'MAX_SCHEMA_RETRY=25',), (u'OMIT_LOOKASIDE',), (u'SECURE_DELETE',), (u'SOUNDEX',), (u'SYSTEM_MALLOC',), (u'TEMP_STORE=1',), (u'THREADSAFE=1',)]

因此， 我的問題是 ：

1. 有沒有什么方法可以為我的應用程序制作一個linux可移植包，在python和linux系統中都支持sqlite3 FTS5？
2. 有沒有辦法將python模塊sqlite3鏈接到特定的sqlite3路徑？

我在Ubuntu 16.04 LTS中嘗試了所有這些，但我想在CentOS 7上工作。

非常感謝你提前。

關於我做的tarball安裝的更多細節：

wget "https://www.sqlite.org/src/tarball/sqlite.tar.gz?r=release" -O sqlite.tar.gz
tar -xzvf sqlite.tar.gz
cd sqlite
./configure --enable-fts5
make
sudo make install

Answer 1

簡單的方法是使用apsw （另一個Python SQLite Wrapper）。 它的API與sqlite3略有不同，你不能只是pip-install它（除非你的版本已經過時了），但其余的都很好，你可以擁有SQLite的最新功能。

wget https://github.com/rogerbinns/apsw/releases/download/3.22.0-r1/apsw-3.22.0-r1.zip
unzip apsw-3.22.0-r1.zip
cd apsw-3.22.0-r1
python setup.py fetch --sqlite build --enable-all-extensions install

然后，

import apsw

apsw.Connection(':memory:').cursor().execute('pragma compile_options').fetchall()

返回：

[('COMPILER=gcc-5.4.0 20160609',),
 ('ENABLE_API_ARMOR',),
 ('ENABLE_FTS3',),
 ('ENABLE_FTS3_PARENTHESIS',),
 ('ENABLE_FTS4',),
 ('ENABLE_FTS5',), 
 ('ENABLE_ICU',),
 ('ENABLE_JSON1',),
 ('ENABLE_RBU',),
 ('ENABLE_RTREE',),
 ('ENABLE_STAT4',),
 ('THREADSAFE=1',)]

困難的方法是使用自定義SQLite編譯Python。 查爾斯萊弗在本文中有更多細節。

Answer 2

我認為是一個鏈接問題！ 我跟着你做了同樣的安裝步驟並得到了相同的結果：

$ python ./test.py 
[(u'ENABLE_COLUMN_METADATA',), (u'ENABLE_FTS3',), (u'ENABLE_RTREE',), (u'ENABLE_UNLOCK_NOTIFY',), (u'ENABLE_UPDATE_DELETE_LIMIT',), (u'MAX_SCHEMA_RETRY=25',), (u'OMIT_LOOKASIDE',), (u'SECURE_DELETE',), (u'SOUNDEX',), (u'SYSTEM_MALLOC',), (u'TEMP_STORE=1',), (u'THREADSAFE=1',)]
NO

但是，當您在Linux上通過configure / make / make install安裝某些東西時，它通常位於/usr/local/lib 。 為了確保python在運行時鏈接到正確的.so我使用了LD_LIBRARY_PATH 。 在這種情況下，我得到：

$ LD_LIBRARY_PATH=/usr/local/lib python ./test.py 
[(u'COMPILER=gcc-4.8.5',), (u'ENABLE_FTS5',), (u'HAVE_ISNAN',), (u'TEMP_STORE=1',), (u'THREADSAFE=1',)]
YES

此外，在安裝庫時，您可能必須更新ldconfig 。 在我的系統上（Ubuntu 14.04）：

$ sudo ldconfig
$ python ./test.py 
[(u'COMPILER=gcc-4.8.5',), (u'ENABLE_FTS5',), (u'HAVE_ISNAN',), (u'TEMP_STORE=1',), (u'THREADSAFE=1',)]
YES

請注意，不再需要使用LD_LIBRARY_PATH和針對正確的lib的python鏈接。 為此，您需要在ld.so.conf /usr/local/lib文件夾...對我來說這是：

$ grep -ir local /etc/ld.so.conf.d/
/etc/ld.so.conf.d/libc.conf:/usr/local/lib

Answer 3

感謝您的回答@urban和@saaj 。 我發現你的答案很有建設性。

我看到@saaj回答的問題是它需要額外的包，特別是apsw包，它與pypy不兼容，例如。 我無法使它成功，但可能是我的錯。

我真的很喜歡@urban的回答。 我做了這個過程並讓它運轉起來。 我把這個答案標記為正確。

不過我想補充一下自己的答案。 相當激進，但它對我有用。 我用以下Dockerfile創建了一個Ubuntu docker：

FROM ubuntu:16.04
RUN apt-get update -y
RUN DEBIAN_FRONTEND=noninteractive DEBCONF_NONINTERACTIVE_SEEN=true apt-get install -y apt-utils tzdata
RUN DEBIAN_FRONTEND=noninteractive DEBCONF_NONINTERACTIVE_SEEN=true dpkg-reconfigure tzdata
RUN echo "Europe/Berlin" > /etc/timezone
RUN dpkg-reconfigure -f noninteractive tzdata
RUN apt-get update -y
RUN apt-get install -y git build-essential sudo

然后，在Ubuntu碼頭工具里面我做了。 在這個過程中，我刪除了sqlite3並安裝了它的依賴項，我在下面的文章中找到了它。 之后我重新安裝了python。

sudo apt-get update -y
echo "[ - Removing sqlite3... ]"
sudo apt-get remove -y sqlite3
sudo apt-get purge -y sqlite3
echo "[ - Installing sqlite3 dependencies... ]"
sudo apt-get install -y build-essential bzip2 git libbz2-dev libc6-dev libgdbm-dev libgeos-dev liblz-dev liblzma-dev libncurses5-dev libncursesw5-dev libreadline6 libreadline6-dev libsqlite3-dev libssl-dev lzma-dev python-dev python-pip python-software-properties python-virtualenv software-properties-common sqlite3 tcl tk-dev tk8.5-dev wget
echo "[ - Installing sqlite3... ]"
sudo wget "https://www.sqlite.org/src/tarball/sqlite.tar.gz?r=release" -O sqlite.tar.gz &> /dev/null
sudo tar -xzvf sqlite.tar.gz
cd sqlite
sudo ./configure --enable-fts5
sudo make
sudo make install
cd ..
echo "[ - Reinstalling python... ]"
sudo apt-get remove -y python python3 python-dev
sudo apt-get install -y --reinstall python2.7 python3 python-dev
sudo apt-get install -y build-essential bzip2 git libbz2-dev libc6-dev libgdbm-dev libgeos-dev liblz-dev liblzma-dev libncurses5-dev libncursesw5-dev libreadline6 libreadline6-dev libsqlite3-dev libssl-dev lzma-dev python-dev python-pip python-software-properties python-virtualenv software-properties-common sqlite3 tcl tk-dev tk8.5-dev wget