将带有反斜杠字符的变量添加到URL字符串时出现Python错误

Question

我试图从一个分配会话cookie的网站上抓取一些数据，并生成包含我需要附加到URL以获取数据的crumb代码的HTML。 当crumb变量包含反斜杠时，我遇到了问题（HTTP 401 Unauthorized）...由于crumb是一个变量，我无法弄清楚如何将r'添加到开头。 我尝试将.encode（'string-escape'）和.replace（'\\\\'，'\\\\\\\\'）添加到crumb变量中，但我无法使其工作。

我在python 2.7中的代码看起来像这样：

cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))    
opener.open('http://www.sample.com')

#Some code here that looks for crumb code in HTML

crumb = 'abc\xyz'

#This line fails when crumb contains a backslash
opener.open('http://www.sample.com/data=' + crumb)

cj.clear()

有没有人知道在尝试打开包含反斜杠的URL字符串时如何避免401错误？

此外，如果我循环通过多个面包屑，是否有必要每次都清除会话cookie？

更新：事实证明，反斜杠是从HTML中的\\ u002F引入的。 我相信如果我在将字符串添加到URL之前将它们转换为正斜杠，它将起作用。 如何将字符串中的\\ u002F转换为/？

Answer 1

这里的问题是“\\”是python中的转义字符，因此要使它成为不包含任何特殊字符的原始字符串，您必须在字符串之前添加“r”。 您的代码应如下所示

cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))    
opener.open('http://www.sample.com')

#I'm adding a 'r' before the string

crumb = r'abc\xyz'

opener.open('http://www.sample.com/data=' + crumb)

cj.clear()

编辑：您可能必须对“\\”进行编码才能正确格式化网址请求。 所以“\\”将是“％5C”。

Answer 2

既然你不能使用crumb = r'abc\\xyz' 。 我相信str.encode('string-escape')函数可能会有所帮助。 尝试：

crumb = 'abc\xyz'
crumb.encode('string-escape')