Python Pandas - 具有多列的数据集 - 想要遍历每一列，仅将非 null 字段的行值添加到新列表

Question

我有一个数据集，我继承了网站日志，它基本上根据访问的页面数添加了一系列新的列。 例如，如果有人访问了我们网站上的 2 个页面，我们会得到类似的内容：visit_id、url_1、visit_datetime_1、url_2、visit_datetime_2。 问题是有些人只访问一页，有些人访问14页。我想简单地说一下。 请参阅下文了解我当前的格式和所需的 output。 我想我只是不明白我将如何通过每一列 go，当字段数并不总是一致时（但列名将是一致的：visit_id 是唯一标识符，url_x，visit_datetime_x）。 我难住了。

下面要清楚一点，visit_id 1000 访问了 3 个页面，2000 访问了 1 个页面，3000 访问了 2 个页面。

我以前从未在 Pandas 做过这样的事情，我只是遇到了障碍。 我已经走到了这一步，这并不远，但至少表明我正在努力。 感谢所有帮助。

visit_ids = []
urls = []
visit_datetimes = []

dataset = pd.read_excel('data.xlsx', engine='openpyxl')
df = pd.DataFrame(dataset)

for colname in df.iteritems():
    
    #do something to add to list

Answer 1

您可以将_之后的最后一个数字拆分为MultiIndex并通过DataFrame.stack重塑：

df = pd.read_excel('data.xlsx', engine='openpyxl')

df1 = df.set_index('visit_id')
df1.columns = df1.columns.str.rsplit('_', n=1, expand=True)

df1 = df1.stack().reset_index()