為什么我的管道返回以前的修改項？

Question

我創建了一個管道來將每個項目保存在ElasticSearch上。 在此管道上，我檢查項目是否已存在，以檢查管理員是否覆蓋某些字段，以強制重新索引（獲取此字段並將其保存/覆蓋在新項目上）

class InsertItemOnElasticSearch(object):
    buffer = []

    @classmethod
    def from_crawler( cls, crawler ):
        # Init ES connection

    # Get uniq ID
    def got_id( self, item ):
        # Return uniq ID of item

    # Check if insert or update
    def check_item( self, item ):
        item_id = self.got_id( item )
        type = 'create'

        is_exist = self.es.search(...)

        if is_exist[ 'hits' ][ 'total' ] == 1:
            type = 'index'
            item_tmp = is_exist[ 'hits' ][ 'hits' ][0][ '_source' ]
            is_override_by_admin = item_tmp.get( 'is_override_by_admin', False )

            if is_override_by_admin:
                ...

                try:
                    my_field = item_tmp.get( 'my_field' )
                    if my_field:
                        item[ 'my_field' ] = my_field

                except:
                    pass

        return self.index_item( item, type, item_id )

    # Format indexation
    def index_item( self, item, op_type, item_id ):
        # Add es_action to buffer

    # Send buffer to ES
    def save_items( self ):
        helpers.bulk( self.es, self.buffer )

    # Process item send to pipelines
    def process_item( self, item, spider ):
        return self.check_item( item )

    # Send buffer when spider closed    
    def close_spider( self, spider ):
        if len( self.buffer ):
            self.save_items()

但是，當存在一個產品並填充了my_field時 ，盡管該字段不存在，腳本也會在所有下一個項目中保存相同的內容。 所以我所有的數據都被破壞了。

有人知道為什么嗎？

Answer 1

我修好了它。 因為我叫蜘蛛

for resp in self.gotVariantsListing(): # On product page
    ...
    yield resp
    ...

def gotVariantsListing(): # To get all variants of product
    ...
    for x in i:
        yield Request( MyURL, self.ajaxFunction, meta={ 'item': item }, ... )
    ...

def ajaxFunction(): # To got variant specific attributs
    item = response.meta[ 'item' ]
    ...
    yield item

因此，我更改為meta={ 'item': item.copy() } ，現在它的工作原理與預期的一樣。 感謝記住我的.copy（） .. ;-)

我們不更改搜尋器過程，因此所有ajaxFunction調用的項目引用都是相同的。 因此，所有更改的流水線都可以在蜘蛛程序中讀取