Java使用正确的编码获取URL

Question

我想下载许多网页的源代码，然后写入文件并在NetBeans控制台中将其打印出来。 我的编码有问题。 首先检查我的代码：

public static final void foo(URL url, Charset endoding, String file) {
    BufferedReader in;
    String readLine;
    try
    {
        in = new BufferedReader(new InputStreamReader(url.openStream(), encoding));
        BufferedWriter out = new BufferedWriter(new OutputStreamWriter( new FileOutputStream(file) , encoding));
        while ((readLine = in.readLine()) != null) {
            System.out.println(readLine+"\n");
            out.write(readLine+"\n");
        }
        out.flush();
        out.close();
    }
}

我正在2个外国网站（例如捷克和泰国）上对此进行测试

我尝试了Charset.forName（“ UTF-8”），该词似乎可以正确地用于泰国网页，但实际上不适用于捷克语网页。 控制台和文件包含问号，例如。

我也尝试过ISO-8859-2，它可以正确保存文件，但是控制台显示的是小矩形而不是字母ž，š等。

是否存在针对多语言网站的任何通用解决方案（例如捷克语，日本语，泰语等等），我可以像打印到控制台一样正确地保存到文件或保存到变量中？

Answer 1

问题是没有最终编码这样的东西。 即使双方都能自行决定使用哪种编码，目前的编码水平也可能是UTF-8。 这是一篇相当不错的文章，值得一读，它描述了char编码作为全球解决方案的基本问题。

因此，最好的解决方案是使用InputStreamReader.getEncoding()获得html页面编码：

public static final void foo(URL url, String file){
  BufferedReader in;
  String readLine;
  try{
    InputStreamReader isr = new InputStreamReader(url.openStream());
    String encoding = isr.getEncoding(); //if you actually need it, which I don't suppose
    in = new BufferedReader(isr);
    BufferedWriter out = new BufferedWriter(new OutputStreamWriter( new FileOutputStream(file) , encoding));
    while ((readLine = in.readLine()) != null) {
      System.out.println(readLine+"\n");
      out.write(readLine+"\n");
    }
    out.flush();
    out.close();
  }
}

这应该按预期工作。