在表单提交之前机械化检查所有单选按钮

[英]Mechanize check all radio buttons before form submit

对于学校项目，我正在尝试抓取多项选择题的内容（为了学习法语 SAT。我要抓取的网页截图 我的刮刀工作。 但是，该页面使用 javascript 来获取前 5 个问题，然后您需要回答每个问题并单击下一步按钮，然后您就可以访问 5-10 个问题。 在检查器中，我比较了两个 html 文档（单击单选按钮 ...

使用 Nokogiri 打开网站时出现问题 - 请求超时 - 应该归咎于 Etags？

[英]Problem opening site with Nokogiri - Request timeout - Etags to blame?

我正在尝试使用 nokogiri 打开 MrPorter.com 我收到以下错误： 这以前有效，但后来他们添加了 etags，我不确定它是否可能是罪魁祸首。 有没有办法解决？ 是否仍然可以使用 Nokogiri 打开此页面（或类似页面）？ 也许我缺少一些必需的参数？ 您可以使用邮递员进 ...

如何从 Nokogiri::XML::Builder 创建一个 Nokogiri::XML::Node

[英]How to create a Nokogiri::XML::Node from Nokogiri::XML::Builder

我需要用我正在创建的新 HTML 替换文档中的节点。 我必须替换的节点的类是： 我使用 Nokogiri Builder 创建我的片段： 但是new_node的类是Nokogiri::XML::Builder 。 如何用我用构建器创建的片段替换我的 Nokogiri::XML::Node ...

如何在 ruby​​ 中抓取下一页

[英]How to scrape the next page in ruby

我正在尝试抓取名为https://www.jobsatosu.com/postings/search的网站的下一页。 因为作业多，所以页面多。 我们的团队像这样成功地抓取了第一页： 我正在努力抓取下一页。 此外，我们被告知在 Ruby 中使用 Nokogiri 和 Mechanize。 我只需要 ...

如何使用 Nokogiri 删除重复的嵌套标签

[英]How to remove repeated nested tags using Nokogiri

我有嵌套重复标签的 HTML： 我想删除没有任何属性的嵌套重复div 。 生成的 HTML 应如下所示： 如何使用 Nokogiri 或纯 Ruby 做到这一点？ ...

如何使用 Mechanize 解析本地文件

[英]How to use Mechanize to parse local file

我正在使用 Ruby 和 Mechanize 来解析本地 HTML 文件，但我做不到。 如果我使用 URL，这会起作用： 错误是： 如何获取页面对象以便我可以对其进行搜索？ ...

如何使用 Nokogiri 将具有命名空间的节点树插入到现有的 XML 文件中？

[英]How can I insert a tree of nodes with namespaces into an existing XML file using Nokogiri?

我一直在使用 Nokogiri 生成一个 XML 文件（特别是使用一些 yEd 命名空间的 GraphML 文档）。 我正在生成的文件类型的示例： 文档有一个基本结构，不会随文档变化而变化，然后是特定于每个文档的<node>和<edge>标签的集合。 我已经能够使用 N ...

替换 Nokogiri 节点中的部分文本，同时保留内容中的标记

[英]Replacing part of the text in a Nokogiri node while preserving markup in contents

我试图通过使用 Nokogiri 扫描节点的内容然后执行gsub来替换一堆文件中唯一字符串的实例。 我将字符串的一部分保留在原位，并将其转换为锚标记。 但是，大多数节点在内容中具有各种形式的标记，而不仅仅是简单的字符串。 例如，假设我有一个这样的文件： 整个文档都有数字，用<&am ...

我无法解析页面并获取链接 Nokogiri

[英]I can't parse the page and get links Nokogiri

我无法通过 Nokogiri 解析获得链接列表， https: //chromedriver.storage.googleapis.com/index.html ? path = 79.0.3945.36 / 我究竟做错了什么 ？ 或者 ---> ...

如何使用 Waitr::Browser 显示动态站点内容以供 Nokogiri 抓取

[英]How to use Waitr::Browser to show dynamic site content for Nokogiri to scrape

我创建了一个可以在各种职业网站上找到工作的抓取工具。 在大约 80% 的网站上它可以工作，但我很难让它在其余页面上工作。 我认为原因是某些页面在其页面上使用 JavaScript 生成动态内容。 因此刮板失败。 所以我尝试了 Watir 和 Mechanize，但它仍然不起作用。 https: ...

捆绑Nokogiri问题

[英]Bundling Nokogiri issue

我有一个问题，我可以通过以下方式安装 Nokogiri： 但是当我运行bundle我收到以下错误： 在搜索其他有同样问题的人时，我一直找不到这样的东西。 ...

如何使用 Nokogiri 从一组子字符串中抓取某些字符串的页面

[英]How to scrape a page for certain strings from an array of substrings with Nokogiri

我想为某些菜肴标题抓取餐厅页面。 我创建了一个包含关键字的数组： 每当在网页中找到这些关键字之一时，我的刮刀就应该给我整个菜品标题。 我使用以下代码完成了这项工作： 例如，这将返回：“第 41 道菜 - 鸡肉和米饭蔬菜” 问题是上面的代码在找到第一道菜后就停止了。 它不会遍历包含“米饭”一 ...

浏览器渲染页面在抓取时显示不同

[英]Browser Rendered Page Appears Different When Scraped

打开此页面https://www.barchart.com/futures/quotes/ESH20/options Nokogiri 中的元素与浏览器中呈现的页面中的元素不同。 如何从刮板库访问与浏览器开发工具中看到的相同的源代码？ 这个元素特别是<div class="bc-dat ...

如何为 Rails 应用程序使用特定的 Nokogiri 版本

[英]How to use a specific Nokogiri version for Rails application

我正在尝试运行几年前编写的 Rails 应用程序，但是当我运行rails server时，我不断收到此错误： 我很困惑，因为我安装了 Nokogiri v1.8.2 和 v1.10.7 并在.gem/ruby/2.3.0和/Library/Ruby/Gems/2.3.0下看到它们。 不过我没有看 ...

如何解决在 Windows 上安装 Nokogiri for Rails 的冲突要求

[英]How to fix conflicting requirements installing Nokogiri for Rails on Windows

最近从 Mac 切换到 PC 并使用bundle install碰壁。 我收到一个错误，但我无法弄清楚它的含义以及如何解决它。 我搜索了 GitHub 问题和其他 StackOverflow 线程，但没有一个修复建议对我有帮助，因为它们主要集中在 Linux 上。 ...

如何使用 Nokogiri 和 XPath 向 XML 添加元素

[英]How to add an element to XML with Nokogiri and XPath

我有以下 XML： 使用 Rakefile，我想在<startup>部分添加一个元素来说明： 成为： 目前我有这个： 为支持的运行时添加此详细信息的实际语法是什么。 ...

如何将 URL 数组作为函数的参数传递

[英]How to pass an array of URLs as a parameter for a function

我想将第一个函数返回的 URL 数组传递到第二个函数中，但是我不确定如何执行此操作。 ...

如何在 MacOS Catalina 上使用 gcc 安装 Nokogiri

[英]How to install Nokogiri using gcc on MacOS Catalina

我正在尝试在我的 MacOS Catalina 10.15.1 系统上安装 Nokogiri。 日志文件中的错误是： 我一直在搜索并尝试使用brew install gcc和brew link gcc brew install gcc brew link gcc但这没有帮助。 这是我拥有的 ...

如何刮<script> tags with Nokogiri and Mechanize

[英]How to scrape <script> tags with Nokogiri and Mechanize

我试图从“圣保罗使徒详细信息页面”中获取信息。 我需要地址、电话号码和描述。 所有这些信息是通过可以使用引入nokogiri刮普通的HTML标签accessable，但是我发现信息块中&lt;script&gt;标记。 我希望使用这段代码来抓取我需要的所有信息： 我怎样才能做到这一点？ ...

无论是否编码，如何从 XML 字符串或文件中删除表情符号

[英]How to remove emojis from an XML string or file whether they are encoded or not

我想从 XML 文件中删除表情符号。 一个典型的示例字符串可能是这样的： 我只想拥有： 我尝试在解析阶段后使用 Nokogiri 的noent选项和一些过滤器，但是to_xml将表情符号作为 HTML 实体返回，我不再检测到它们。 它返回如下内容： require 'nokogiri' ...