[英]I want to select all records from one dataframe where its value exists/not exists in another dataframe. How to do this using pyspark dataframes?
我有两个 pyspark 数据框。 我想从 voutdf 中选择其“哈希”在 vindf.tx_hash 中不存在的所有记录
如何使用 pyspark 数据框执行此操作。？ 我尝试了半连接，但最终出现了内存不足错误。
voutdf = sqlContext.createDataFrame(voutRDD,["hash", "value","n","pubkey"])
vindf = sqlContext.createDataFrame(vinRDD,["txid", "tx_hash","vout"])
您可以使用left-anti join 来做到这一点：
df = voutdf.join(vindf.withColumnRenamed("tx_hash", "hash"), "hash", 'left_anti')
左反加入：
它从左侧数据集中获取在右侧数据集中没有匹配的所有行。
如果一个dataframe值存在于另一个dataframe中，则从dataframe中取一个值
[英]If one dataframe value exists in another dataframe, then get a value from the dataframe
如果来自一个 dataframe 的值存在于另一个 dataframe 中，则 Pandas 赋值
[英]Pandas assign value if value from one dataframe exists in another dataframe
Python Pandas检查值是否从一个DataFrame到另一个DataFrame
[英]Python Pandas checking for a value if it exists from one DataFrame to another DataFrame
检查一个数据框中的值是否存在于另一个数据框中并创建列
[英]Check if value from one dataframe exists in another dataframe and create column
检查一个数据帧中的值是否存在于另一个数据帧中，打印所有值对
[英]Check if value from one dataframe exists in another dataframe, print all pairs of values
使用两个数据框如何比较查找值作为 substring 在另一个 dataframe 的列中创建一个新列，如果匹配存在
[英]Using two dataframes how can I compare a lookup value as a substring in the column in another dataframe to create a new column if the match exists
如何清理这个 dataframe。我想使用 python 从表中删除“\n”而不影响表
[英]How do I clean this dataframe. I want to remove "\n" from the table using python without affecting the table
I want to count the elements of a python list that is within a dataframe, and for the output to be a column in the dataframe. 我怎么做？
[英]I want to count the elements of a python list that is within a dataframe, and for the output to be a column in the dataframe. How do I do that?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.