根據 Python 中的其他行創建新行？

Question

東風：

  Date    Month  year  Month_yr
0 Jul 19  Jul    19     Jul_2019
1 Ogf 19  Jul    19     Jul_2019
2 May19    May   19    May_2019
3 May 19   May   19    May_2019
4 19May    May   19    May_2019
5 Jun19    Jun   19    Jun_2019
6 Jun 19   Jun   19    Jun_2019
7 May 20   May   20    May_2019
8 20May    May   20    May_2019
9 Jun20    Jun   20    Jun_2019
10 Jun 20  Jun   20    Jun_2019

我想根據去年的月份和年份創建一個新行。 例如，在我的 df 中，直到月份 = 六月和年 = 20 已經填寫，所以我需要為年 = 20 填寫七月月份，因為我需要檢查去年的月份 = 七月和年 = 19，我看到兩個記錄即

0 Jul 19  Jul    19     Jul_2019
1 Ogf 19  Jul    19     Jul_2019

Output：

  Date    Month  year  Month_yr
0 Jul 19   Jul    19     Jul_2019
1 Ogf 19   Jul    19     Jul_2019
2 May19    May   19    May_2019
3 May 19   May   19    May_2019
4 19May    May   19    May_2019
5 Jun19    Jun   19    Jun_2019
6 Jun 19   Jun   19    Jun_2019
7 May 20   May   20    May_2019
8 20May    May   20    May_2019
9 Jun20    Jun   20    Jun_2019
10 Jun 20  Jun   20    Jun_2019
11 Jul 20   Jul  20     Jul_2019
12 Ogf 20   Jul  20     Jul_2019

每個月的流程都一樣，以此類推...

Answer 1

您可以從第 19 年開始 select ，所有大於第 20 年最后一個月的記錄並將它們合並

import pyspark.sql.functions as F
# Test data
dfs = sqlContext.createDataFrame([('Jan',19,1),('Feb',19,1),('Mar',19,1),('Aug',19,5),('Sep',19,1),('Dec',19,1),('Jan',20,6),('Feb',20,8),('Feb',20,7),('Mar',20,8)],schema=['month','year','value'])
# convert month to a date column
df_mnth = dfs.withColumn("mnth_format",F.to_date('month',format='MMM'))
# Find the maximum month from year 20
max_month = ((df_mnth.filter('year=20').select(F.max('mnth_format').alias('max'))).collect())[0]['max']
# Select all rows later that latest month in 20 from year 19 and replace them with year 20
df_res = df_mnth.filter((F.col('year')==19)&  (F.col('mnth_format')>max_month)).replace(19,20,subset='year')
#union them
df_fin =df_mnth.union(df_res.select(df_mnth.columns)).drop('mnth_format')

結果：

+-----+----+-----+
|month|year|value|
+-----+----+-----+
|  Jan|  19|    1|
|  Feb|  19|    1|
|  Mar|  19|    1|
|  Aug|  19|    5|
|  Sep|  19|    1|
|  Dec|  19|    1|
|  Jan|  20|    6|
|  Feb|  20|    8|
|  Feb|  20|    7|
|  Mar|  20|    8|
|  Aug|  20|    5|
|  Sep|  20|    1|
|  Dec|  20|    1|
+-----+----+-----+