将HTML内容读入Java程序

Question

我正在尝试将服务提供商的充值计划信息添加到我的java程序中，该网站包含动态数据，当我使用URLConnection提取URL时，我仅获得静态内容，我想将不同网站的充值计划自动化到我的程序。

package com.fs.store.test;
import java.net.*;
import java.io.*;

public class MyURLConnection 
{

    private static final String baseTataUrl = "https://www.tatadocomo/pre-paypacks";`enter code here`

    public MyURLConnection()
    {

    }

    public void getMeData() 
    {
        URLConnection urlConnection = null;
        BufferedReader in = null;
            try
                {
                    URL url = new URL(baseTataUrl);
                    urlConnection = url.openConnection();
                    HttpURLConnection connection = null;
                     connection = (HttpURLConnection) urlConnection;

                         in = new BufferedReader(new InputStreamReader(urlConnection.getInputStream()/*,"UTF-8"*/));
                         String currentLine = null;

                    StringBuilder line = new StringBuilder();

                         while((currentLine = in.readLine()) != null)
                         {  
                              System.out.println(currentLine);
                              line = line.append(currentLine.trim());
                         } 
                      }catch(IOException e)
                      {
                         e.printStackTrace();
                      }
                        finally{
                            try{
                                in.close();
                            }
                            catch(Exception e){
                                e.printStackTrace();
                            }
                        }
        } 

    public static void main (String args[])
    {
        MyURLConnection test = new MyURLConnection();
        System.out.println("About to call getMeData()");
        test.getMeData();
    }


}

Answer 1

您必须在浏览器中使用启用了Javascript的HtmlEditorKits之一，然后获取内容。 查看示例： oreilly

Answer 2

检查交通。 Firefox有一个TamperData插件。 然后，您可以进行更直接的交流。

使用apache的HttpClient来简化通信，而不要使用纯URL。

如果返回JSON数据，则可能使用一些JSON库。

更多详细信息，但是您现在可以跳过一些加载。