![](/img/trans.png)
[英]Scraping specific pieces of data from website in C# using HtmlAgilityPack
[英]Scrape Dynamic Data from Website Using C# HTMLAGILITYPACK
我正在使用HTMLAGILITY Pack抓取数据,但页面无法正确加载。
我需要我的代码应该等到页面完全加载。
在表单中使用浏览器有一些工作,但我不需要在表单中使用它。
这是我需要废弃的链接 ,以下是我的代码。
HtmlWeb web = new HtmlWeb();
ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12;
HtmlAgilityPack.HtmlDocument doc = web.Load(website);
var goldTypes = doc.DocumentNode.SelectNodes("//h2[@class='gold-box-title']").ToList();
var goldPrices = doc.DocumentNode.SelectNodes("//span[@class='gold-box-price--sale'").ToList();
for (int i = 0; i < 2; i++)
{
string goldPrice = goldPrices[i].InnerText;
string goldType = goldTypes[i].InnerText;
}
你是对的,所有数据都在结构化的json中以“buyable-gold”元素的“:buyable”属性提供。
我做了一个快速测试,这应该是你想要的。 这将为您提供包含所需数据的结构化对象列表。
HtmlWeb web = new HtmlWeb();
ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12;
HtmlAgilityPack.HtmlDocument doc = web.Load("https://www.ezrsgold.com/buy-runescape-gold");
var buyGoldNodes = doc.DocumentNode.SelectNodes("//buyable-gold");
var buyableJsonList = buyGoldNodes.Select(x => HttpUtility.HtmlDecode(x.Attributes[":buyable"].Value)).ToList();
var buyables = buyableJsons.Select(x => JsonConvert.DeserializeObject<Buyable>(x)).ToList();
然后你的可购买类看起来像这样。
public class Buyable
{
public int id { get; set; }
public string sku { get; set; }
public int game_id { get; set; }
public string title { get; set; }
public int min_qty { get; set; }
public int max_qty { get; set; }
public string base_price { get; set; }
public string sale_price { get; set; }
public Bulk_Price[] bulk_price { get; set; }
public string delivery_time { get; set; }
public string description { get; set; }
public object sort_order { get; set; }
public string created_at { get; set; }
public string updated_at { get; set; }
public string price { get; set; }
public bool on_sale { get; set; }
public int discount_from { get; set; }
}
public class Bulk_Price
{
public string qty { get; set; }
public string price { get; set; }
}
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.