在熊貓中讀取除CSV文件的最后一行

Question

我有一些CSV文件，我在熊貓中讀到了：

#!/usr/bin/env python

import pandas as pd
import sys

filename = sys.argv[1]
df = pd.read_csv(filename)

不幸的是，這些文件的最后一行通常是損壞的（逗號數量錯誤）。 目前我在文本編輯器中打開每個文件並刪除最后一行。

是否可以刪除加載CSV的同一個python / pandas腳本中的最后一行，以節省必須采取這個額外的非自動步驟？

Answer 1

傳遞error_bad_lines=False ，它將自動跳過此行

df = pd.read_csv(filename, error_bad_lines=False)

error_bad_lines的優點是它會跳過而不會出現任何錯誤行，但如果最后一行總是duff那么skipfooter=1會更好

感謝@DexterMorgan指出skipfooter選項強制引擎使用比c引擎慢的python引擎來解析csv。

Answer 2

閱讀http://pandas.pydata.org/pandas-docs/version/0.16.2/generated/pandas.read_csv.html 。 這里'skipfooter'參數可用於指定不想從末尾讀取.csv文件的行。 可能它可以幫助你。