关于Python，Scrapy和Xpath

Question

我正在使用Scrapy和xpaths从网站上获取一堆出售的物业数据。 总共有9个“项目”（销售价格，出售日期，代理商，代理商，地址，财产类型，卧室，浴室和完整URL），每页20条记录。 然后，将结果存储到SQLite3数据库中。

一切工作都非常好，直到我打出的页面的数据有些不完整。 如果即使单个记录都缺少变量，它就会搞砸一切，页面中的任何内容都不会写入数据库。

我很确定这是因为我已经以“非pythonic”方式对事物进行了编码，但是无法找到解决此问题的解决方案（pythonic还是其他方式）。

这是我的pipelines.py文件的一部分，那里似乎出现了问题：

def process_item(self, item, spider):

    self.cur.execute("CREATE TABLE IF NOT EXISTS Diditwork(Id INTEGER PRIMARY KEY, SalePrice TEXT, Address TEXT, Agent TEXT, Agency TEXT, DateSold TEXT, TypeOfProperty TEXT, Bedrooms TEXT, Bathrooms TEXT, FullURL TEXT)")
    n=int(0)
    for data in item['address']:

        self.cur.execute("INSERT INTO Diditwork (Saleprice, Agent, Agency, Address, DateSold, TypeOfProperty, Bedrooms, Bathrooms, FullURL) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?)", ((item['saleprice'][n]), (item['agent'][n]), (item['agency'][n]), (item['address'][n]), (item['datesold'][n]), (item['typeofproperty'][n]), (item['bedrooms'][n]), (item['bathrooms'][n]), (item['fullurl'][n])))

        self.conn.commit()
        n +=1

    return item

当记录中缺少变量时出现的错误是“ exceptions.IndexError：列表索引超出范围”

我想这是因为我的循环写入的方式。 它将查找其中包含20个变量的列表，但是在某些页面上，如果一个或多个记录不完整或丢失，它将尝试调用不存在的列表索引。

例如，一页上可能有20条地址记录，但只有15条代理记录。 它尝试调用item ['agent'] [16]，然后又发回一个错误，因为列表没有那么长。

无论如何，我很抱歉为我的问题作了不好的解释。 我不确定是否应该尝试实施某种错误处理，例如

if len(item['address']) != len(item['agent']): 
            #item['agent'] = ["not available"] * 20 

或者我的整体方法是否错误。

任何帮助将不胜感激-我在这里有点不尽如人意，并且一直在半天半的时间里尝试自己解决这个问题。

编辑：谢谢大家。 我还有更多测试要做，但是我认为我最终弄清楚了这一点。 这是我正在使用的代码。 如果有人想出一个更优雅的解决方案，我将在24小时内不回答该问题。

if len(item['address']) != len(item['agent']): #error checking
            difference = len(item['address']) - len(item['agent']) #find the disparity
            item['agent'].extend(["not available"] * difference) #append/extend the list by an appropriate number 

Answer 1

您的方法紧凑，需要更少的代码和更少的处理，所以很好。 您所缺少的只是适当的验证。 输入到db的所有数据都必须经过验证，不仅是长度，还包括在解析和存储之前应验证和修复的字段类型。