檢查字符串以在火花數據框中創建新列

Question

我有一個帶有交易對的 Spark 數據框列，我需要使用它來創建一個新列，其中填充了硬幣的名稱。

第一列“bot”包含“Polkadot/USD”，我需要一個名為“coin”的新列，它只包含bot列的子字符串“Polkadot”。 所有其他行相同。 基本上新列需要刪除子字符串“/USD”。

代碼如何實現這一點。 我是一名加密交易員而不是編碼員，所以答案中的編碼細節越多越好。 謝謝你。

注意：notebook 是 Python Notebook

Answer 1

您可以使用regexp_replace用另一個子字符串替換一個子字符串

df.withColumn('coin', F.regexp_replace(F.col('bot'), '/USD', ''))

---

例子

# sample dataframe
df3 = spark.createDataFrame([
    ('BamBridge/USD', ),
    ('CLV/USD', ),
    ('ETH/USD', ),
    ('Polkadot/USD', ),
], ['bot'])

df3 = df3.withColumn('coin', F.regexp_replace(F.col('bot'), '/USD', ''))

df3.show()

+-------------+---------+
|          bot|     coin|
+-------------+---------+
|BamBridge/USD|BamBridge|
|      CLV/USD|      CLV|
|      ETH/USD|      ETH|
| Polkadot/USD| Polkadot|
+-------------+---------+