如何以编程方式下载Java网页

Question

如何以编程方式下载Java网页我希望能够获取网页的html并将其保存到String，这样我就可以对它做一些处理了。此外，我如何处理各种类型的压缩。我将如何使用Java来做这件事呢？

Answer 1

Bill的回答是非常好的，但是您可能想对请求做一些事情，比如压缩或用户代理。下面的代码演示如何对请求进行各种类型的压缩。

URL url = new URL(urlStr);HttpURLConnection conn = (HttpURLConnection) url.openConnection();
 // Cast shouldn't failHttpURLConnection.setFollowRedirects(true);
 // allow both GZip and Deflate (ZLib) encodingsconn.setRequestProperty("Accept-Encoding", "gzip, deflate");
 String encoding = conn.getContentEncoding();InputStream inStr = null;
 // create the appropriate stream wrapper based on// the encoding typeif (encoding != null && encoding.equalsIgnoreCase("gzip")) {
    inStr = new GZIPInputStream(conn.getInputStream());} else if (encoding != null && encoding.equalsIgnoreCase("deflate")) {
    inStr = new InflaterInputStream(conn.getInputStream(),
      new Inflater(true));} else {
    inStr = conn.getInputStream();}

若要设置用户代理，请添加以下代码：

conn.setRequestProperty ( "User-agent", "my agent name");