本文目录一览：
- 1、怎么用java代码爬去出网页中用js脚本动态显示的数据
- 2、如何使用java写一个轻量的爬取动态内容 的爬虫
- 3、java爬虫抓取指定数据
- 4、java爬虫 怎么动态的获取html
- 5、java爬虫怎么抓取js动态生成的内容
怎么用java代码爬去出网页中用js脚本动态显示的数据
java有js的执行引擎 ScriptEngineManager 你可以调用他内嵌的js去获取
如何使用java写一个轻量的爬取动态内容 的爬虫
最近刚好在学这个，对于一些第三方工具类或者库，一定要看官方tutorial埃 学会用chrome network 分析请求，或者fiddler抓包分析。 普通的网页直接用httpclient封装的API就可以获取网页HTML了，然后 JSoup、正则 提取内容。
java爬虫抓取指定数据
根据java网络编程相关的内容，使用jdk提供的相关类可以得到url对应网页的html页面代码。
针对得到的html代码，通过使用正则表达式即可得到我们想要的内容。
比如，我们如果想得到一个网页上所有包括“java”关键字的文本内容，就可以逐行对网页代码进行正则表达式的匹配。最后达到去除html标签和不相关的内容，只得到包括“java”这个关键字的内容的效果。
从网页上爬取图片的流程和爬取内容的流程基本相同，但是爬取图片的步骤会多一步。
需要先用img标签的正则表达式匹配获取到img标签，再用src属性的正则表达式获取这个img标签中的src属性的图片url，然后再通过缓冲输入流对象读取到这个图片url的图片信息，配合文件输出流将读到的图片信息写入到本地即可。
java爬虫 怎么动态的获取html
package httpclient_learn;import java.io.IOException;import org.apache.http.HttpEntity;import org.apache.http.HttpStatus;import org.apache.http.client.ClientProtocolException;import org.apache.http.client.methods.CloseableHttpResponse;import org.apache.http.client.methods.HttpGet;import org.apache.http.client.utils.HttpClientUtils;import org.apache.http.impl.client.CloseableHttpClient;import org.apache.http.impl.client.HttpClients;import org.apache.http.util.EntityUtils;public class HttpClientTest {
public static void main(String[] args) { //1.生成httpclient，相当于该打开一个浏览器
CloseableHttpClient httpClient = HttpClients.createDefault();
CloseableHttpResponse response = null; //2.创建get请求，相当于在浏览器地址栏输入 网址
HttpGet request = new HttpGet(""); try { //3.执行get请求，相当于在输入地址栏后敲回车键
response = httpClient.execute(request);
//4.判断响应状态为200，进行处理
if(response.getStatusLine().getStatusCode() == HttpStatus.SC_OK) { //5.获取响应内容
HttpEntity httpEntity = response.getEntity();
String html = EntityUtils.toString(httpEntity, "utf-8");
System.out.println(html);
} else { //如果返回状态不是200，比如404（页面不存在）等，根据情况做处理，这里略
System.out.println("返回状态不是200");
System.out.println(EntityUtils.toString(response.getEntity(), "utf-8"));
}
} catch (ClientProtocolException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
} finally { //6.关闭 HttpClientUtils.closeQuietly(response);
HttpClientUtils.closeQuietly(httpClient);
}
}
}
java爬虫怎么抓取js动态生成的内容
我用Jsoup写爬虫，一般遇到html返回没有的内容。但是浏览器显示有的内容。都是分析页面的http请求日志。分析页面JS代码来解决。
1、有些页面元素被隐藏起来了-换selector解决
2、有些数据保存在js/json对象中-截取对应的串，分析解决
3、通过api接口调用-伪造请求获得数据
还有一个终极方法
4、使用phantomjs或者casperjs这种headless浏览器