使用 pandas 读取 csv 文件时出现 Unicode 错误

Question

为什么 pandas 无法读取此 csv 文件并返回“UnicodeEncodeError”。 我从stackoverflow尝试了很多解决方案（本地下载，不同的编码，更改引擎......），但仍然无法正常工作......如何解决？

import pandas as pd
url = 'http://data.insideairbnb.com/france/pyrénées-atlantiques/pays-basque/2022-06-10/data/listings.csv.gz'

pd.read_csv(url,encoding='utf-8')

Answer 1

TL;博士

您的 URL 包含非 ASCII 字符，因为错误提示。

只是改变：

url = 'http://data.insideairbnb.com/france/pyrénées-atlantiques/pays-basque/2022-06-10/data/listings.csv.gz'

为了：

url = 'http://data.insideairbnb.com/france/pyr%C3%A9n%C3%A9es-atlantiques/pays-basque/2022-06-10/data/listings.csv.gz'

问题已解决。

解决方案

自动 URL escaping

深入阅读错误表明，在执行请求以获取 URL 后面的资源后， read_csv function 期望 ZE6B391A8D2C4D45902A23A8B6585702A23A8B6585703DZ 资源的情况似乎是 ASCII 编码的资源。

read_csv发出的这个调用惨遭失败：

import urllib.request
urllib.request.urlopen(url)

问题是由于pyrénées中的重音必须转义以防止urlopen失败。 下面是强制执行此要求的一种干净方法：

import urllib.parse

result = urllib.parse.urlparse(url)
replaced = result._replace(path=urllib.parse.quote(result.path))
url = urllib.parse.urlunparse(replaced)

pd.read_csv(url)

自己处理数据流

或者，您可以通过自己处理完整流程来绕过此限制。 以下片段可以解决问题：

import io
import gzip
import pandas as pd
import requests

url = 'http://data.insideairbnb.com/france/pyrénées-atlantiques/pays-basque/2022-06-10/data/listings.csv.gz'
response = requests.get(url)
file = io.BytesIO(response.content)
with gzip.open(file, 'rb') as handler:
     df = pd.read_csv(handler)

关键是获取 HTTP 资源并对其进行压缩，然后将内容伪造为类似文件的 object 因为read_csv确实直接读取 CSV 字符串。