如何使用Java绑定并行化Selenium Webdriver实例？

Question

我得到了这个for循环，它抓取了大量的url：

//Before

public void testScrapjv() throws Exception {

    List<String> urlList = BIG_LIST_OF_URLS

        for (String url : urlList) {

            driver.get(url);

            //scraping code

}

我正在寻找一种并行化此for循环的方法，以加快从列表中访问和抓取evey网站的过程。

我可以将清单分成4个，然后手动运行该程序的4个实例，但是我不喜欢手动执行操作的想法。 如果有人对如何更好地实现它有一个想法，该解决方案当然可以涉及shell脚本编写（我在该领域没有技能），但是在Java代码中执行它会更好。

我读到也许可以使用selenium-grid，但我不知道它是什么，并且该网站似乎无法正常运行（ http://selenium-grid.seleniumhq.org/ ），也许有人会有所提示。

Answer 1

将urlList拆分为no。 所需的实例数量（此操作必须手动完成，因为网址存储在单个列表中）

并使用TestNG框架并行运行它。

parallel='tests'这将并行运行您的实例。