Python中是否有一个模块为R做类似“ sqldf”的事情？

Question

列表理解非常好。 但是某种“……加入……”将非常有用。 谢谢。 例如。 我有一个A = {1,0}，一个列表B = [[1,1]，[2,3]]。 我想在B中找到所有行，其中第二个colomu是A中的值之一。或更一般地说，我有2个CSV文件。 我想找出所有来自两个文件中某些菌落值匹配的行。 就像某种“联接”两个文件一样。 文件之一是GB大小。 sqldf是“在R数据帧上进行SQL选择”。

Answer 1

您可以使用pandasql，它允许以SQL样式查询pandas DataFrames。 它与sqldf非常相似。

https://github.com/yhat/pandasql/

（完整的免责声明，是我写的）

编辑：博客文章，记录了此处找到的一些功能： http : //blog.yhathq.com/posts/pandasql-sql-for-pandas-dataframes.html

Answer 2

我没有意识到库会按照您的要求进行操作（但是我只看了sqldf文档），但是您所要求的内容实际上都不需要库，它们都是python的一线书（您当然可以抽象化创建的功能函数而不是简单的列表理解...）

设置A = {1,0}，列表B = [[1,1]，[2,3]]。 我想找到B中的所有行，其中第二列是A中的值之一。

>>> a = set([1, 0])
>>> b = [[1,1],[2,3]]
>>> [l for l in b if l[1] in a]
[[1, 1]]

我有2个CSV文件。 我想找出两个文件中某一列的值匹配的所有行。

>>> f1 = [[1, 2, 3], [4, 5, 6]]
>>> f2 = [[0, 2, 8], [7, 7, 7]]
>>> [tuple_ for tuple_ in zip(f1, f2) if tuple_[0][1] == tuple_[1][1]]
[([1, 2, 3], [0, 2, 8])]

---

编辑：如果内存使用存在问题，则应使用生成器而不是列表。 例如：

>>> zip(f1, f2)
[([1, 2, 3], [0, 2, 8]), ([4, 5, 6], [7, 7, 7])]

但是使用生成器：

>>> import itertools as it
>>> gen = it.izip(f1, f2)
>>> gen
<itertools.izip object at 0x1f24ab8>
>>> next(gen)
([1, 2, 3], [0, 2, 8])
>>> next(gen)
([4, 5, 6], [7, 7, 7])

对于数据源：

>>> [line for line in f1]
[[1, 2, 3], [4, 5, 6]]

转换为生成器为：

>>> gen = (line for line in f1)
>>> gen
<generator object <genexpr> at 0x1f159b0>
>>> next(gen)
[1, 2, 3]
>>> next(gen)
[4, 5, 6]

Answer 3

在执行sqldf功能之前，您需要先使用'df'功能，即数据帧。 Python有一个可爱的版本：pandas：

http://pandas.sourceforge.net/

也许有关合并和合并的部分会有所帮助：

http://pandas.sourceforge.net/merging.html

我建议您先从小于千兆字节的文件开始！

Answer 4

现在有一个软件包可以做到这一点！ 检查以下链接：

pysqldf => https://pypi.org/project/pysqldf/

像sqldf在R sqldf那样，该软件包将允许您使用SQL查询熊猫数据sqldf 。