打开extern DTD（w3.org，xhtml1-transitional.dtd）时出错。 503服务器不可用

Question

我正在尝试对xhtml文档进行xpath查询。 使用.NET 3.5。

该文件如下：

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
    "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

<html lang="en" xmlns="http://www.w3.org/1999/xhtml" xml:lang="en">
  <head>
   ....
  </head>
  <body>
    ...
  </body>
</html>

因为该文档包括各种字符实体（  等等），我需要使用DTD，为了与加载它的XmlReader 。 所以我的代码看起来像这样：

var s = File.OpenRead(fileToRead)
var reader = XmlReader.Create(s, new XmlReaderSettings{ ProhibitDtd=false });

但是当我运行它时，它会返回

打开外部DTD'http: //www.w3.org/TR/xhtml1-transitional.dtd '时发生错误：远程服务器返回错误：（503）服务器不可用。

现在，我知道为什么我得到503错误。 W3C非常清楚地解释了这一点 。

我见过“解决方法”，人们只是禁用DTD。 这是ProhibitDtd=true可以做到的，它消除了503错误。

但在我的情况下导致其他问题 - 应用程序没有获得实体定义，因此不是格式良好的XML。 如何在不访问w3.org网站的情况下验证DTD并获取实体定义？

---

我认为.NET 4.0有一个漂亮的内置功能来处理这种情况： XmlPreloadedResolver 。 但我需要.NET 3.5的解决方案。

---

有关：
- java.io.IOException：服务器返回HTTP响应代码：503

Answer 1

答案是，我必须提供自己的XmlResolver 。 我不认为这是.NET 3.5内置的。 那令人费解。 令人费解的是，我花了很长时间才发现这个问题。 令人费解的是，我找不到其他人已经解决了这个问题？

好的，所以...... XmlResolver。 我创建了一个新类，派生自XmlResolver并过度使用三个关键内容：Credentials（set），ResolveUri和GetEntity。

public sealed class XhtmlResolver : XmlResolver
{
    public override System.Net.ICredentials Credentials
    {
        set { throw new NotSupportedException();}
    }

    public override object GetEntity(Uri absoluteUri, string role, Type t)
    {
       ...
    }

    public override Uri ResolveUri(Uri baseUri, string relativeUri)
    {
      ...
    }
}

关于这些东西的文档非常吝啬，所以我会告诉你我学到了什么。 这个类的操作是这样的：XmlReader将首先调用ResolveUri，然后，给定一个已解析的Uri，然后调用GetEntity。 期望该方法返回类型为t的对象（作为参数传递）。 我只看到它请求System.IO.Stream。

我的想法是使用csc.exe /resource选项将DTD的本地副本及其XHTML1.0依赖项嵌入到程序集中，然后检索该资源的流。

private System.IO.Stream GetStreamForNamedResource(string resourceName)
{
    Assembly a = Assembly.GetExecutingAssembly();
    return  a.GetManifestResourceStream(resourceName);
}

很简单。 这是从GetEntity（）调用的。

但我可以改进。 我没有将DTD嵌入到明文中，而是先将它们解压缩。 然后像这样修改上面的方法：

private System.IO.Stream GetStreamForNamedResource(string resourceName)
{
    Assembly a = Assembly.GetExecutingAssembly();
    return  new System.IO.Compression.GZipStream(a.GetManifestResourceStream(resourceName), System.IO.Compression.CompressionMode.Decompress);
}

该代码打开嵌入式资源的流，并返回为解压缩配置的GZipStream。 读者获得了明文DTD。

我想要做的是只从Xhtml 1.0解析DTD的URI。 所以我写了ResolveUri和GetEntity来寻找那些特定的DTD，并且只对它们作出肯定的回应。

对于带有DTD语句的XHTML文档，流程是这样的;

1. XmlReader使用XHTML DTD的公共URI调用ResolveUri，即"-//W3C//DTD XHTML 1.0 Transitional//EN" 。 如果XmlResolver可以解析，它应该返回...一个有效的URI。 如果它无法解决，它应该抛出。 我的实现只针对公共URI。

2. 然后，XmlReader使用DTD的系统标识符调用ResolveUri，在本例中为"http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd" 。 在这种情况下，XhtmlResolver返回一个有效的Uri。

3. 然后，XmlReader使用该URI调用GetEntity。 XhtmlResolver抓取嵌入的资源流并返回它。

依赖项也会发生同样的事情 - xhtml_lat1.ent，依此类推。 为了使解析器工作，所有这些都需要嵌入。

是的，如果解析器无法解析URI，则应该抛出异常 。 据我所知，这还没有正式记录。 这似乎有点令人惊讶。 （严重违反最不惊讶的原则 ）。 如果相反，ResolveUri返回null，XmlReader将在空URI上调用GetEntity，这......啊，是没有希望的。

---

这适合我。 它适用于从.NET对XHTML进行XML处理的任何人。 如果要在自己的应用程序中使用它，请获取DLL 。 该zip包含完整的源代码。 根据MS Public License许可 。

您可以将其插入到与XHTML混合的XML应用程序中。 像这样使用它：

// for an XmlDocument...
System.Xml.XmlDocument doc = new System.Xml.XmlDocument();
doc.XmlResolver = new Ionic.Xml.XhtmlResolver();
doc.Load(xhtmlFile);

// for an XmlReader...
var xmlReaderSettings = new XmlReaderSettings
    {
        ProhibitDtd = false,
        XmlResolver = new XhtmlResolver()
    };
using (var stream = File.OpenRead(fileToRead))
{
    XmlReader reader = XmlReader.Create(stream, xmlReaderSettings);
    while (reader.Read())
    {
     ...
    }

Answer 2

您可以通过将XmlReaderSettings.XmlResolver属性设置为null来禁止XmlReader打开任何外部资源。

System.Xml.XmlReaderSettings xmlReaderSettings = new System.Xml.XmlReaderSettings ();
xmlReaderSettings.XmlResolver = null;
System.Xml.XmlReader xmlReader = System.Xml.XmlReader.Create(myUrl, xmlReaderSettings);

Answer 3

当您的ResolveUri方法获取URI的“公共”形式的请求时，例如-//W3C//ELEMENTS XHTML Images 1.0//EN然后您的方法会抛出并等待后续的以http://开头的类似URL的URI http:// ？

我将公共URI解析为相应的http:// URI（然后在我的GetEntity方法中拦截对http:// URIs的请求），而不是抛出。

因此，我永远不必扔，我认为这是正确的解决方案。

---

这是一种聪明的方法。 你的字典有多大？ 我指向你的库只处理XHTML 1.0，并且只需要映射一个公共URI库。

我正在使用“模块化”的XHTML 1.1，所以我必须映射大约40个文件。

请注意框架的行为可能已经改变了！ 我有一个库（包括我的XhtmlUrlResolver类），它是使用.NET Framework 2构建的，但它的调用方式不同，具体取决于应用程序（使用该库）是为.NET 2还是.NET 4构建的。

使用.NET 2，当我的ResolveUri方法始终只透明地委托给XmlUrlResolver时，它会：

1. 要求ResolveUri公开DTD。
2. 尝试从磁盘GetEntity DTD（抛出一个DirectoryNotFoundException）
3. 尝试从http中获取DTD（我从本地资源提供服务）
4. 尝试GetEntity来自http的每个其他文件（我从本地资源提供）

使用.NET 4，每个资源都有一个额外的调用：

• 请求ResolveUri公共子资源（例如*.mod文件），我的实现刚刚委托给XmlUrlResolver
• 向GetEntity询问子资源的'已解决'公开，这根本没有真正解决，它只是添加了一个类似http的前缀（抛出WebException）

抛出所有这些WebExceptions减慢了处理速度，这就是为什么我重新审视它以寻找修复。

你从ResolveUri那里抛出的建议解决了这个问题，我感谢你; 但是不是投掷，而是从ResolveUri返回更优雅的东西（并且更快一点：减少40个例外）。

这是我目前的源代码。

using System;
using System.Collections.Generic;
using System.Text;

using System.Reflection;
using System.IO;
using System.Xml;

//don't obfuscate the file names of the embedded resources,
//which are contained in a "Files" subfolder of the project
[assembly: Obfuscation(Feature = "Apply to ModelText.ModelXml.Files.*: all", Exclude = true, ApplyToMembers = true)]

namespace ModelText.ModelXml
{
    /// <summary>
    /// This class provides local (i.e. faster) access to the XHTML DTD.
    /// </summary>
    /// <remarks>
    /// Another way to implement this class is described in MSDN "Customizing the XmlUrlResolver Class"
    /// which shows as an example a "class XmlCachingResolver"
    /// and which is implemented using WebRequest and HttpRequestCachePolicy
    /// </remarks>
    [System.Reflection.ObfuscationAttribute(Feature = "renaming", ApplyToMembers = true)]
    public class XhtmlUrlResolver : XmlResolver
    {
        XmlUrlResolver m_xmlUrlResolver = new XmlUrlResolver();
        Assembly m_assembly = Assembly.GetExecutingAssembly();
        public override object GetEntity(Uri absoluteUri, string role, Type ofObjectToReturn)
        {
            string uriString = absoluteUri.ToString();
            if (s_resources.uriExists(uriString))
            {
                //Console.WriteLine("XhtmlUrlResolver Found {0} -- {1}", uriString, DateTime.Now);

                //to get the filename of the embedded resource, remove the http: directory
                //this is OK because the filenames are unique and map 1-to-1 with resource names
                string filename = uriString.Substring(uriString.LastIndexOf('/') + 1);
                Stream stream = m_assembly.GetManifestResourceStream(typeof(XhtmlUrlResolver), "Files." + filename);
                return stream;
            }

            //Console.WriteLine("XhtmlUrlResolver Throwing {0} -- {1}", uriString, DateTime.Now);
            throw new ArgumentException();
            //Console.WriteLine("XhtmlUrlResolver Getting {0} -- {1}", uriString, DateTime.Now);
            //object o = m_xmlUrlResolver.GetEntity(absoluteUri, role, ofObjectToReturn);
            //Console.WriteLine("XhtmlUrlResolver Got {0} -- {1}", uriString, DateTime.Now);
            //return o;
        }

        public override Uri ResolveUri(Uri baseUri, string relativeUri)
        {
            string resolved = s_resources.resolve(relativeUri);
            if (resolved != null)
            {
                //Console.WriteLine("ResolveUri resolving {0}, {1} -- {2}", baseUri, relativeUri, DateTime.Now);
                return new Uri(resolved);
            }

            //Console.WriteLine("ResolveUri passing {0}, {1} -- {2}", baseUri, relativeUri, DateTime.Now);
            return m_xmlUrlResolver.ResolveUri(baseUri, relativeUri);
        }
        public override System.Net.ICredentials Credentials
        {
            set { m_xmlUrlResolver.Credentials = value; }
        }

        static Resources s_resources = new Resources();

        class Resources
        {
            Dictionary<string, string> m_publicToUri = new Dictionary<string, string>();

            internal Resources()
            {
                for (int i = 0, n = array.GetLength(0); i < n; ++i)
                {
                    m_publicToUri.Add(array[i, 1], array[i, 0]);
                }
            }

            internal bool uriExists(string absoluteUri)
            {
                return m_publicToUri.ContainsValue(absoluteUri);
            }

            internal string resolve(string relativeUri)
            {
                string resolved;
                if (m_publicToUri.TryGetValue(relativeUri, out resolved))
                {
                    return resolved;
                }
                return null;
            }

            static string[,] array = {
               { "http://www.w3.org/TR/xhtml11/DTD/xhtml11.dtd", "-//W3C//DTD XHTML 1.1//EN" },

               { "http://www.w3.org/MarkUp/DTD/xhtml11-model-1.mod", "-//W3C//ENTITIES XHTML 1.1 Document Model 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-attribs-1.mod", "-//W3C//ENTITIES XHTML Common Attributes 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-base-1.mod", "-//W3C//ELEMENTS XHTML Base Element 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-bdo-1.mod", "-//W3C//ELEMENTS XHTML BIDI Override Element 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-blkphras-1.mod", "-//W3C//ELEMENTS XHTML Block Phrasal 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-blkpres-1.mod", "-//W3C//ELEMENTS XHTML Block Presentation 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-blkstruct-1.mod", "-//W3C//ELEMENTS XHTML Block Structural 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-charent-1.mod", "-//W3C//ENTITIES XHTML Character Entities 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-csismap-1.mod", "-//W3C//ELEMENTS XHTML Client-side Image Maps 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-datatypes-1.mod", "-//W3C//ENTITIES XHTML Datatypes 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-edit-1.mod", "-//W3C//ELEMENTS XHTML Editing Elements 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-events-1.mod", "-//W3C//ENTITIES XHTML Intrinsic Events 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-form-1.mod", "-//W3C//ELEMENTS XHTML Forms 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-framework-1.mod", "-//W3C//ENTITIES XHTML Modular Framework 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-hypertext-1.mod", "-//W3C//ELEMENTS XHTML Hypertext 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-image-1.mod", "-//W3C//ELEMENTS XHTML Images 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-inlphras-1.mod", "-//W3C//ELEMENTS XHTML Inline Phrasal 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-inlpres-1.mod", "-//W3C//ELEMENTS XHTML Inline Presentation 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-inlstruct-1.mod", "-//W3C//ELEMENTS XHTML Inline Structural 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-inlstyle-1.mod", "-//W3C//ELEMENTS XHTML Inline Style 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-lat1.ent", "-//W3C//ENTITIES Latin 1 for XHTML//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-link-1.mod", "-//W3C//ELEMENTS XHTML Link Element 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-list-1.mod", "-//W3C//ELEMENTS XHTML Lists 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-meta-1.mod", "-//W3C//ELEMENTS XHTML Metainformation 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-object-1.mod", "-//W3C//ELEMENTS XHTML Embedded Object 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-param-1.mod", "-//W3C//ELEMENTS XHTML Param Element 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-pres-1.mod", "-//W3C//ELEMENTS XHTML Presentation 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-qname-1.mod", "-//W3C//ENTITIES XHTML Qualified Names 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-script-1.mod", "-//W3C//ELEMENTS XHTML Scripting 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-special.ent", "-//W3C//ENTITIES Special for XHTML//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-ssismap-1.mod", "-//W3C//ELEMENTS XHTML Server-side Image Maps 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-struct-1.mod", "-//W3C//ELEMENTS XHTML Document Structure 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-style-1.mod", "-//W3C//ELEMENTS XHTML Style Sheets 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-symbol.ent", "-//W3C//ENTITIES Symbols for XHTML//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-table-1.mod", "-//W3C//ELEMENTS XHTML Tables 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-target-1.mod", "-//W3C//ELEMENTS XHTML Target 1.0//EN" },
               { "http://www.w3.org/MarkUp/DTD/xhtml-text-1.mod", "-//W3C//ELEMENTS XHTML Text 1.0//EN" },

               { "http://www.w3.org/TR/ruby/xhtml-ruby-1.mod", "-//W3C//ELEMENTS XHTML Ruby 1.0//EN" }
            };
        }
    }
}