带有循环列表的Selenium Web抓取

Question

我试图遍历一个列表，当您选择要查找的内容时，我要抓取的网站的URL会在其中更改。 一个示例是“ buyhere.com”，当我在网页上选择牛奶时，URL将更改为“ buyhere.com/milk”。

如此有效，我试图通过chromedriver组合价格检查网络爬虫，在其中我可以对我设置的杂货清单进行定价，在这种情况下：

groceries = ['milk', 'bread', 'coffee', 'cereal', 'flowers']

for k in groceries:
    url = 'https://buyhere.com/' + groceries

现在，当我放入单个项目时，我可以获得所需的信息（例如价格，品牌），但是当我尝试循环浏览时，会遇到一些问题：

它将引发关于无法将列表连接到str的错误。 我尝试了#groceries = str(['milk', 'bread', 'coffee', 'cereal', 'flowers'])我尝试了#url = 'https://buyhere.com/' + str('groceries')

现在，当我运行它时，它基本上会吐出来：

 url = 'https://buyhere.com/[['milk', 'bread', 'coffee', 'cereal', 'flowers'] 

而不是拉出每个单独的元素并进行遍历，它是在URL中打印我的整个列表。

我曾考虑过将杂货[0]放在最后并把ak + = 1留给我，但我也没有得到任何关注。

from selenium import webdriver

import time

import pandas as pd


groceries = ['milk', 'bread', 'coffee', 'cereal', 'flowers']

for k in groceries:

    url = 'https://buyhere.com/' + groceries

预期结果：

5个循环，分别提取5种类型的杂货中的数据

for k in groceries:

url = 'https://buyhere.com/milk
url = 'https://buyhere.com/bread
url = 'https://buyhere.com/coffee

等等

很乐意看看是否有人对解决方法有更好的想法。 谢谢社区！

Answer 1

我想您只是弄乱了语法，尝试一下

from selenium import webdriver

import time

import pandas as pd


groceries = ['milk', 'bread', 'coffee', 'cereal', 'flowers']

for k in groceries:

    url = 'https://buyhere.com/' + k
    #  do stuff with url ...