Webscrape 到 Pandas DF 到 txt

Question

Im trying to save web scrape via selenium to Pandas dataframe, which should either append new values and then remove duplicates, or add new values from the start.

我正在努力迈出第一步 - 将数据添加到 dataframe。 数据抓取有效，我曾经通过file.write保存数据，效果很好，但是当我试图将它传递给DF时，只添加了第一个值，（循环通过链接工作，并且提取了多个值，但没有写入 df)。

请协助：（

当前脚本：

for link in links:
    try:
        sleep(randint(5,10))
        driver.get(link)
        myElem = WebDriverWait(browser, 5).until(EC.presence_of_element_located((By.CLASS_NAME, "item" )))
        
#DATA
        #NAME DATA
        try:
            product = [driver.find_element(By.CLASS_NAME, 'name').get_attribute('innerHTML')]
        except Exception:
            product = ["Other"]
        #BRAND DATA
        try:
            brand = [driver.find_element_by_xpath("// span[contains(text(),'Brand')]/following-sibling::p").get_attribute('innerHTML')]
        except Exception:
            brand = ["Other"]
            
    except:
        pass
    
    df = pd.DataFrame(data=list(zip(product, brand)), columns=['Product', 'Brand'])
    print(df)
    df.to_csv('C:/product data DF.txt', sep='\t', mode='w', index=False)

driver.quit()
f.close()

Answer 1

对于循环的每一次传递，您都将product创建为一个包含一个项目的新列表。 brand也是一样。

因此，当您创建 DataFrame 时， product和brand仅包含您在循环中处理的最后一个链接的数据。

相反，您应该在开始循环之前将product和brand创建为空列表，并在循环的每次迭代中为它们.append 。