cost 125 ms
拉取太多数据会导致 Panda 数据框出现 400 错误吗? 来自 GraphQL

我正在使用 python/pandas/a 脚本从数据库中提取,这个单元给我带来了问题: 当我在只提取几条记录的情况下运行它时,它可以工作,但是当我尝试提取数千条记录时,出现此错误: 异常:查询无法运行,返回代码 400。 是不是拉力的大小导致了问题,如果是,我该如何解决? ...

2021-12-03 20:40:36 0 5
用变量搜索漂亮的汤html

对于列表中的每个物种,我正在搜索一个网页,该网页都应包含具有字典样式信息的相同文本框<dt> english name </dt> <dd> water shrew </dd> , <dt> status </dt> <d ...

2021-12-03 20:33:55 1 21
无法在 Selenium 中使用 Xpath 查找元素来定位元素方法?

我想在“mintMultiple:输入”中输入 0.5。 我尝试使用以下代码通过 Xpath 查找元素: 但是,我收到此错误,我尝试使用延迟而不是使用其他来源建议的延迟,但我遇到了相同的错误。 这表明 Xpath 是正确的,因为它在 HTML 中以黄色突出显示。 https://ethe ...

2021-12-03 20:23:54 2 12
CourseNotFound 和 CatalogNotFound 用于网络抓取应用程序

我需要帮助抛出和处理两个异常,CourseNotFoundException 和 CatalogNotFoundException 用于学校的网络抓取项目。 当抓取成功但没有找到给定课程请求的数据时,它应该抛出 CourseNotFoundException 。 并且,当抓取成功但没有找到给定目 ...

2021-12-03 19:30:11 0 4
Python 登录到 UPS.com 返回 403

我有一个脚本可以登录到我的 UPS.com 帐户以接收所有传入的包裹。 以下代码工作了一段时间但不再工作了: 现在返回 403 并带有消息“您无权访问...在此服务器上” 我在同一台服务器上使用 Selenium webdriver 登录,当我用我的凭据填写表单信息时,这有效。 但是,我正在寻 ...

2021-12-03 18:09:57 0 11
抓取时的 API 限制

我有一个网站,我正在使用下面的代码进行抓取。 网站上的信息来自 API,范围为 10/2019 - 5/2020。 我遇到的问题是,当我运行程序并将信息导出到 excel 时,它只给我最多 3/2020 的信息。 我似乎无法在代码中找到任何可以阻止这种情况的内容,因此不确定它是否是 API 端的内容 ...

2021-12-03 17:26:04 0 11
在 Python 中使用 selenium 从具有多个页面的表中提取信息

我正在尝试使用 Python 中的 Selenium 从网页中提取一些文章。 但是,我很难做到这一点。 到目前为止,我的代码如下: 我现在想将下表的内容添加到文件中,即创建一个遍历所有页面的循环,并将来自“DATO”、“ARTIKLE”和“SIDE”的信息收集到一个数据框中。 我曾尝试按照一些 ...

2021-12-03 16:38:44 1 22
如何抓取特定的

没有课?

我对网络抓取很陌生。 我要刮 我想刮的是 155.(这是高度) 我想把所有的 p.text 元素放到一个列表中,然后把最后一个去掉。 但是当我尝试时,只有 110 作为输出。 (甚至不是 110、55、28、155 的列表)如何将所有 p.text 放入数组中? 这是我的尝试: 或者, ...

2021-12-03 15:47:27 2 47
如何发出帖子请求以在网页字段上粘贴数据

我正在尝试找到一种方法将一些交易(我已经正确格式化)粘贴到此在线英国资本收益税计算器的字段框中 - http://www.cgtcalculator.com/calculator.aspx - 然后单击“计算”按钮,最终在结果框中接收信息。 一些交易的一个例子(不是我的交易)——这个数据目前在一个 ...

2021-12-03 15:46:55 0 14
响应状态不是 200 在运行 webdriver 来获取 url 和运行美丽的汤来提取内容时,它抛出属性错误

我一直在尝试通过网络抓取酒店评论,但在多个页面跳转时,网页的 url 没有改变。 所以我使用 selenium 的 webdriver 来解决这个问题。 它没有显示任何错误,但在检查响应状态是否为 200 时,它显示为 false。 除此之外,运行我在下面提到的代码行会产生错误。 如果有人能解决这个 ...

2021-12-03 15:46:00 0 5
Selenium 无法通过类名找到元素

我正在尝试检查新通知,但 selenium 找不到它。 这是页面代码的一部分: 我试过这种方式: 但是硒找不到它。 我将不胜感激任何提示。 ...

2021-12-03 15:43:25 1 20
网页抓取 - 从亚马逊抓取常规价格和销售价格

首先,完全披露:我以前从未编写过网络爬虫,但我想尝试一下。 我将按照一些教程资源来学习如何做到这一点。 但这不是我的问题。 我的刮板仅供个人使用,作为获得编程经验的一种方式。 我想在亚马逊上抓取某种产品类型(变形金刚玩具)。 但我只想刮掉那些打折的,即从他们的正常价格降低(基本上,我想在打折时收到 ...

2021-12-03 14:31:15 0 5
在 Google Play 上使用网页抓取发布 Flutter 应用

我是 Flutter 的初学者,我想在 Google Play 上发布我的第一个应用程序, 这是一个非常简单的应用程序,显示我父亲的产品名称和价格,所以我使用 web_scraper 从他的网站获取信息(比我做的), 该应用程序可在我的手机上运行,​​但在 Play Console 上部署后,我 ...

2021-12-03 10:12:35 0 5
我如何识别 Puppeteer 上的课程

我目前正试图让我的傀儡师找到一个特定的元素。 在这种情况下,是一个电子邮件地址框。 但是,它没有名称,而是一个与之相关的唯一类。 在这种情况下: 我如何将它包含在我的 ...

2021-12-03 08:04:27 0 3
使用相应条目抓取标题 - 标题有多个值时的问题

我试图从他们在 cricinfo 网站上的个人资料中抓取板球运动员的基本球员信息。 此处给出了玩家个人资料页面的示例: https : //www.espncricinfo.com/player/shaun-marsh-6683 最后,我想在 R 中编写一个函数来提取概述选项卡顶部的信息(全名、出 ...

2021-12-03 07:54:15 1 28
VBA 网页抓取在 iFrame 中插入值

我在访问 iFrame 中的项目时遇到问题。 第一行是输入字段,第二行是提交按钮。 有趣的是,这个相同的代码在一个月前就起作用了。 现在它只有在我停止代码时才有效,单击打开的 Internet Explorer 窗口或我想要输入的字段,然后才继续使用代码。 上面两行之前的代码: ...

2021-12-03 07:54:02 0 10
无法使用 concurrent.futures 加速脚本的执行过程

我正在尝试在以下脚本中实现concurrent.futures或类似的东西,以加快执行速度。 但是,当我比较这两个脚本时,我发现速度没有变化。 我应该带来什么可能的改变来实现同样的目标? 原脚本: 当我在脚本中实现concurrent.futures ,我没有看到执行过程中有任何与速度相关的改 ...

2021-12-03 07:01:51 1 25
如何使用内置于 API 函数 random() 中的 Urbandictionary API

我想构建一个简单的应用程序,它将从城市词典 api 生成随机单词及其相关定义。 我想我可以以某种方式抓取网站或找到包含大多数城市词典单词的数据库或 .csv 文件,然后将其注入 api {word}。 我在这里找到了他们的非官方/官方 API: http : //api.urbandictiona ...

2021-12-03 01:00:00 3 22
学习网页抓取无法理解:html_nodes("table") %>% `[[`(6) %>%

我正在 r 中学习网络抓取,编写了以下代码: 在上面提到的代码中, : [[ (6) 代表什么。 我也为此参考了一些文件,其中写有以下文字,但没有明确说明: “对于向量和矩阵,[[ 形式很少使用,尽管它们与 [ 形式有一些细微的语义差异(例如,它删除任何名称或dimnames 属性,并且部 ...

2021-12-03 00:48:55 1 23

 
粤ICP备18138465号  © 2020-2021 STACKOOM.COM