将 dataframe 转换为 csv 文件

Question

我正在处理我已更改的Adult数据，并希望将其保存为 csv。但是在将其保存为 csv 并重新加载数据以再次使用后，数据未正确转换。 标题未保留，现在合并了一些列。 我浏览了页面和在线，但我尝试过的方法不起作用。 我使用以下代码加载数据：

import numpy as np ##Import necassary packages
import pandas as pd
import matplotlib.pyplot as plt
from pandas.plotting import scatter_matrix
from sklearn.preprocessing import *
url2="http://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data" #Reading in Data from a freely and easily available source on the internet
Adult = pd.read_csv(url2, header=None, skipinitialspace=True) #Decoding data by removing extra spaces in cplumns with skipinitialspace=True
##Assigning reasonable column names to the dataframe
Adult.columns = ["age","workclass","fnlwgt","education","educationnum","maritalstatus","occupation",  
                 "relationship","race","sex","capitalgain","capitalloss","hoursperweek","nativecountry",
                 "less50kmoreeq50kn"]

插入缺失值并根据需要更改数据框后，我尝试了：

df = Adult

df.to_csv('file_name.csv',header = True)

df.to_csv('file_name.csv')

和其他一些变化。 如何将文件保存到 CSV 并在下次读取文件时保留正确的格式？

重新加载数据时，我使用代码：

import pandas as pd
df = pd.read_csv('file_name.csv')

运行df.head时 output 是：

<bound method NDFrame.head of        Unnamed: 0  Unnamed: 0.1  age  ... Black  Asian-Pac-Islander Other
0               0             0   39  ...     0                   0     0
1               1             1   50  ...     0                   0     0
2               2             2   38  ...     0                   0     0
3               3             3   53  ...     1                   0     0

和print(df.loc[:,"age"].value_counts()) output 是：

36    898
31    888
34    886
23    877
35    876

不应有 2 列

Answer 1

如果你这样腌制它：

Adult.to_pickle('adult.pickle')

随后，您将能够使用read_pickle读回它，如下所示：

original_adult = pd.read_pickle('adult.pickle')

希望有所帮助。

Answer 2

如果要保留 output 列顺序，可以在保存 DataFrame 时直接指定列：

import pandas as pd

url2 = "http://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data" 
df = pd.read_csv(url2, header=None, skipinitialspace=True)

my_columns = ["age", "workclass", "fnlwgt", "education", "educationnum", "maritalstatus", "occupation",
             "relationship","race","sex","capitalgain","capitalloss","hoursperweek","nativecountry",
             "less50kmoreeq50kn"]
df.columns = my_columns

# do the computation ...

df[my_columns].to_csv('file_name.csv') 

如果您对保存 DataFrame 行索引不感兴趣，可以将参数index=False添加到to_csv('file_name.csv', index=False) function。 否则，在再次读取 csv 文件时，您需要指定index_col参数。

---

根据文档value_counts()返回一个Series object - 你会看到两列，因为第一列是索引 - 年龄 (36, 31, ...)，第二列是计数 (898, 888, ...) .

Answer 3

我复制了你的代码，它对我有用。 保留列的顺序。

让我展示一下我的尝试。 尝试了这批代码：

import numpy as np ##Import necassary packages
import pandas as pd
import matplotlib.pyplot as plt
from pandas.plotting import scatter_matrix
from sklearn.preprocessing import *

url2="http://archive.ics.uci.edu/ml/machine-learning- 
databases/adult/adult.data" #Reading in Data from a freely and easily 
available source on the internet

Adult = pd.read_csv(url2, header=None, skipinitialspace=True) #Decoding data 
by removing extra spaces in cplumns with skipinitialspace=True

##Assigning reasonable column names to the dataframe
Adult.columns =["age","workclass","fnlwgt","education","educationnum","maritalstatus","occupation",  
             "relationship","race","sex","capitalgain","capitalloss","hoursperweek","nativecountry",
             "less50kmoreeq50kn"]

这非常有效。 然后

df = Adult 

这也奏效了。 然后我将这个数据框保存到一个 csv 文件中。 确保您提供文件的绝对路径，即使该文件保存在与此脚本相同的文件夹中。

df.to_csv('full_path_to_the_file.csv',header = True)
# so someting like
#df.to_csv('Users/user_name/Desktop/folder/NameFile.csv',header = True)

将这个 csv 文件加载到 new_df 中。 它将生成一个新列来跟踪索引。 这是不必要的，你可以像下面这样删除它：

new_df = pd.read_csv('Users/user_name/Desktop/folder/NameFile.csv', index_col = None)
new_df= new_df.drop('Unnamed: 0', axis =1)

当我将原始 df 的 new_df 的列与这行代码进行比较时

new_df.columns == df.columns

我明白了

array([ True,  True,  True,  True,  True,  True,  True,  True,  True,
    True,  True,  True,  True,  True,  True])

您可能没有像此处那样提供文件的绝对路径或两次保存文件。 您只需要保存一次。

df.to_csv('file_name.csv',header = True)

df.to_csv('file_name.csv')

Answer 4

一般保存 dataframe 时，第一列是索引，读取 dataframe 时需要加载索引，同样，每当将 dataframe 赋值给变量时，确保复制 dataframe：

df = Adult.copy()
df.to_csv('file_name.csv',header = True)

并阅读：

df = pd.read_csv('file_name.csv', index_col=0)

print(df.loc[:,"age"].value_counts())的第一列是索引列，如果您查询 datframe 将显示该索引列，要将其保存到列表中，请使用to_list方法：

print(df.loc[:,"age"].value_counts().to_list())