C＃像Facebook和linkedin一样从URL获取内容

Question

将网址发布到您的状态后，如何实现与Facebook和Linkedin相同的功能（在C＃中）？

正如您从Linkedin下方看到的那样，您输入一个URL，Linkedin会自动获取被截断的文章的标题，图像和内容。

Answer 1

我使用HTML Agility Pack解析HTML。 它以NuGet软件包的形式提供。

如果您有这样定义的WebPage类：

public class WebPage
{
    public string Title { get; set; }
    public string PageUrl { get; set; }
    public string Text { get; set; }
}

您可以使用以下代码来解析HTML：

public WebPage ParseHtml(string html, Uri uri)
{
    var document = new HtmlDocument();
    document.LoadHtml(html);

    // remove scripts
    foreach (var script in document.DocumentNode.Descendants("script").ToArray())
    {
        script.Remove();
    }

    // remove styles
    foreach (var style in document.DocumentNode.Descendants("style").ToArray())
    {
        style.Remove();
    }

    // remove comments
    foreach (var style in document.DocumentNode.Descendants("#comment").ToArray())
    {
        style.Remove();
    }

    // sometimes </form> is not removed so we have to remove it manually
    string innerText = (document.DocumentNode.InnerText ?? "").Trim().Replace("</form>", "");

    var sb = new StringBuilder();
    var lines = innerText.Split(new[] { Environment.NewLine, "\n" }, StringSplitOptions.RemoveEmptyEntries);
    foreach (var line in lines)
    {
        string trimmed = StringUtils.DecodeAndRemoveSpaces(line);
        if (!string.IsNullOrWhiteSpace(trimmed))
        {
            sb.AppendLine(trimmed);
        }
    }

    var webPage = new WebPage { PageUrl = uri.AbsoluteUri };

    var titleNode = document.DocumentNode.Descendants("title").SingleOrDefault();
    if (titleNode != null)
    {
        webPage.Title = StringUtils.DecodeAndRemoveSpaces(titleNode.InnerText ?? "");
    }

    webPage.Text = sb.ToString();

    return webPage;
}

和utils类：

public class StringUtils
{
    public static string DecodeAndRemoveSpaces(string text)
    {
        var trimed = HttpUtility.HtmlDecode(text.Trim());
        trimed = trimed.Replace("\t", " ");
        // replace double spaces
        trimed = Regex.Replace(trimed, @"[ ]{2,}", " ");

        return trimed;
    }
}

用法：

public async Task Test()
{
    using (var client = new HttpClient())
    {
        var uri = new Uri("http://www.google.com");
        string html = await client.GetStringAsync(uri);

        var webPage = ParseHtml(html, uri);
    }
}

Answer 2

您可以将获取请求发送到该URL。 然后，您可以获取标题，图像和内容。

您可以在此处查看一般示例（向下滚动至“示例”）。