我花了几个小时苦苦思索为什么这不起作用 我正在尝试使用 ScrapySharp 来抓取网站,现在只是尝试示例网站,然后转移到我的实际网站。 每次我在我的程序中执行form.Submit() ,我都会遇到 System.AggregateException(指定的强制转换无效) 我的代码: 我 ...
我花了几个小时苦苦思索为什么这不起作用 我正在尝试使用 ScrapySharp 来抓取网站,现在只是尝试示例网站,然后转移到我的实际网站。 每次我在我的程序中执行form.Submit() ,我都会遇到 System.AggregateException(指定的强制转换无效) 我的代码: 我 ...
我是 scrapySharp 和网络抓取的新手。 我正在尝试抓取一个安全且具有登录屏幕的网站。 表单元素没有 name/id 属性,因此让我的生活变得更加复杂。 我一直无法弄清楚如何使用下面的代码加载表单。 非常感谢任何见解! C#: HTML: ...
我在我的干净架构解决方案中使用 ScrapySharp,我需要在我的单元测试中模拟 Scraping 服务响应,以便单元测试是自包含的,实际上不会触及任何外部服务器。 我已经研究过使用 Moq,但没有看到为我的代码返回一个新的 ScrapySharp WebPage 然后在单元测试期间使用的方法。 ...
我正在尝试从特定网站上抓取经济日历。 实际上,我尝试了很多次都没有成功,我不知道我错在哪里。 你能帮我吗? ...
所以我的代码遇到了一个意想不到的问题。 出于某种原因,我无法从我的 Google 搜索中下载和打印链接......非常感谢帮助,因为我真的不确定这里发生了什么......我也在使用 DotNET SDK 错误: ...
我一直在使用 HtmlAgilityPack 一段时间,但我一直在使用的网络资源现在有一个(看起来像)浏览器通过的 jQuery 协议。 我期望加载的是产品页面,但实际加载的(由 WebBrowser 控件和 WebClient DownloadString 验证)是重定向,要求访问者选择顾问并与他 ...
我是Web爬虫的新手,我必须执行以下操作:1.转到网页2.查找元素3.获得其价值 现在我进入网页没有任何问题,可以正常工作。 问题是我需要的元素实际上来自显示在iframe中的jsp。 我正在尝试使用HtmlAgilityPack和ScrapySharp来达到目的。 这是我的 ...
我正在使用scrapySharp或HtmlAgilityPack在c#中编写程序。 但是,我在单击HTML元素(按钮,链接)时需要显示的那部分信息是我的缺点。 在某些论坛中,有人评论说,使用Selenium时,您可以操作html元素,因此我尝试了以下方法 但是作为网络自动化测试, ...
当包含在我的代码中时 导致 Windows 窗体停止工作(一旦在执行中到达此行,窗体就会冻结,我必须停止执行)。 但是,没有错误或任何其他表明出现问题的内容。 ...
我面临一个技术问题,我浏览了几篇文章以找到答案,但是我无法从任何网站上获得正确的答案。 我正在为我的项目使用ScrapySharp来爬网网页数据。 当我尝试从http://edition.cnn.com/POLITICS网站抓取数据时,就会出现此问题。 首先,我通过IE加载了页面, ...
我有一个我要抓取的网站中的数据。 数据如下所示。 如何使用scrapysharp提取table ? 这是html的相关部分: ...
当使用scrapysharp导航到页面时,我的浏览器只会继续加载,并且不会转到下一行代码。 下面是我使用 c# asp.net web 表单的代码。 我可以知道为什么吗? 我使用的链接有效,可以手动浏览。 代码只是卡在Browser.NavigateToPage(new Uri("http://ww ...
我以前从未做过任何网络爬虫,只是刚开始。 但是, NavigateToPage函数永远不会完成。 这是我的代码: 导航到任何网站时,它会继续加载(并且在localhost中也不起作用),但不会超时。 据我所知代码是正确的。 所以我想知道这里还有什么问题吗? ...
我成功地在控制台应用程序中运行了scrapysharp。 我在VS2013中创建了一个新的MVC Web应用程序,没有身份验证或其他特殊要求。 我使用nuget添加ScrapySharp,然后在家庭控制器中添加了此代码。 我对pageresult没有任何反应。 有谁知道为什么吗? ...
我正在使用 ScrapySharp 在马里兰案例搜索Web 应用程序上发布一个表单来搜索案例。 使用 Fiddler,我找到了表单名称和表单字段; 但是,每次我发帖时,它总是返回初始搜索页面,而不是结果。 不确定我缺少什么,请参阅下面的代码。 任何帮助都非常感谢。 ...
这是项目官方“文档”: https://bitbucket.org/rflechner/scrapysharp/wiki/Home 无论我尝试什么,我都找不到库应该添加的CssSelect()方法,以使查询更容易。 这是我尝试过的: 具体如何使用此库? 在文档中,不清楚 ...