[英]I want to select all records from one dataframe where its value exists/not exists in another dataframe. How to do this using pyspark dataframes?
我有兩個 pyspark 數據框。 我想從 voutdf 中選擇其“哈希”在 vindf.tx_hash 中不存在的所有記錄
如何使用 pyspark 數據框執行此操作。？ 我嘗試了半連接，但最終出現了內存不足錯誤。
voutdf = sqlContext.createDataFrame(voutRDD,["hash", "value","n","pubkey"])
vindf = sqlContext.createDataFrame(vinRDD,["txid", "tx_hash","vout"])
您可以使用left-anti join 來做到這一點：
df = voutdf.join(vindf.withColumnRenamed("tx_hash", "hash"), "hash", 'left_anti')
左反加入：
它從左側數據集中獲取在右側數據集中沒有匹配的所有行。
如果一個dataframe值存在於另一個dataframe中，則從dataframe中取一個值
[英]If one dataframe value exists in another dataframe, then get a value from the dataframe
如果來自一個 dataframe 的值存在於另一個 dataframe 中，則 Pandas 賦值
[英]Pandas assign value if value from one dataframe exists in another dataframe
Python Pandas檢查值是否從一個DataFrame到另一個DataFrame
[英]Python Pandas checking for a value if it exists from one DataFrame to another DataFrame
檢查一個數據框中的值是否存在於另一個數據框中並創建列
[英]Check if value from one dataframe exists in another dataframe and create column
檢查一個數據幀中的值是否存在於另一個數據幀中，打印所有值對
[英]Check if value from one dataframe exists in another dataframe, print all pairs of values
使用兩個數據框如何比較查找值作為 substring 在另一個 dataframe 的列中創建一個新列，如果匹配存在
[英]Using two dataframes how can I compare a lookup value as a substring in the column in another dataframe to create a new column if the match exists
如何清理這個 dataframe。我想使用 python 從表中刪除“\n”而不影響表
[英]How do I clean this dataframe. I want to remove "\n" from the table using python without affecting the table
I want to count the elements of a python list that is within a dataframe, and for the output to be a column in the dataframe. 我怎么做？
[英]I want to count the elements of a python list that is within a dataframe, and for the output to be a column in the dataframe. How do I do that?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.