Scrapy和DuplicatesPipeline避免将重复项保存到db

Question

目前，我基于Scrapy库的Spider正在抓取一个网址（此网址每分钟都会更新一次新条目），并将新闻列表项保存到数据库中，该列表每小时都​​会更新一次，我正尝试避免通过添加这些新闻项的重复项在我的pipelines.py中使用“ DuplicatesPipeline（object）：类”

目前，我的脚本将新闻项保存到数据库中，但是仍然保存重复项。

可能是DuplicatesPipeline类是错误的处理方法，因为它似乎并不检查数据库中的现有记录，而仅检查当前会话中的重复项。

非常感谢您的帮助

模型：

class Listitem(DeclarativeBase):
    """Sqlalchemy deals model"""
    __tablename__ = "newsitems"

    id = Column(Integer, primary_key=True)
    title = Column('title', String)
    description = Column('description', String, nullable=True)
    link = Column('link', String, nullable=True)
    date = Column('date', String, nullable=True)

Pipelines.py：

from sqlalchemy.orm import sessionmaker
from models import Presstv, db_connect, create_presstv_table
from scrapy import signals
from scrapy.exceptions import DropItem




class PressTvPipeline(object):

    def __init__(self):
        """
        Initializes database connection and sessionmaker.
        Creates deals table.
        """
        engine = db_connect()
        create_presstv_table(engine)
        self.Session = sessionmaker(bind=engine)




    def process_item(self, item, spider):
        """Save deals in the database.

        This method is called for every item pipeline component.

        """
        session = self.Session()
        deal = Presstv(**item)

        try:
            session.add(deal)
            session.commit()
        except:
            session.rollback()
            raise
        finally:
            session.close()

        return item

Answer 1

我想你应该：

• 在数据库中的link上添加UNIQUE约束
• 检查类似db.query(Listitem).filter_by(link=item.link).first() is None在管道中db.query(Listitem).filter_by(link=item.link).first() is None

您的机制可以用作优化-如果您在实例缓存中找到副本，则无需运行查询。 但是，如果没有副本，请运行查询。