首页 > 编程知识 正文

java爬虫模拟登陆,人人网登陆

时间:2023-05-04 06:08:20 阅读:223265 作者:3462

目的:

使用HTTPClient4.0.1登录到人人网,并从特定的网页抓取数据。

总结&注意事项:

HttpClient(DefaultHttpClient)代表了一个会话,在同一个会话中,HttpClient对cookie自动进行管理(当然,也可以在程序中进行控制)。

在同一个会话中,当使用post或是get发起一个新的请求时,一般需要对调用前一个会话的abort()方法,否则会抛出异常。

有些网站登录成功后会重定向(302, 303),比如这里的人人网。如果发出的是post请求,需要从响应头中取出location,并再次向网站发送请求,以获取最终数据。

抓取程序不要运行地过于频繁,大部分站点都有抵制刷网站机制。人人网访问过于频繁会锁账号。

使用录制工具录制出登录时向网站发出的请求参数。在这里,我使用了badboy,导出成jmeter文件,在jmeter中就可以看到登录时向网站发送的参数列表和相应的值。

人人网属于登陆流程比较简单的网站,后一篇会介绍一家比较难搞的网站。

代码:

Java代码

public class RenRen {

// The configuration items

private static String userName = "YourMailinRenren";

private static String password = "YourPassword";

private static String redirectURL = "http://www.doczj.com/doc/47117397daef5ef7ba0d3ce3.html/blog/304317577/449470467";

// Don't change the following URL

private static String renRenLoginURL = "http://www.doczj.com/doc/47117397daef5ef7ba0d3ce3.html/PLogin.do";

// The HttpClient is used in one session

private HttpResponse response;

private DefaultHttpClient httpclient = new DefaultHttpClient();

private boolean login() {

HttpPost httpost = new HttpPost(renRenLoginURL);

// All the parameters post to the web site

Listnvps = new ArrayList();

nvps.add(new BasicNameValuePair("origURL", redirectURL));

nvps.add(new BasicNameValuePair("domain", "http://www.doczj.com/doc/47117397daef5ef7ba0d3ce3.html"));

nvps.add(new BasicNameValuePair("isplogin", "true"));

nvps.add(new BasicNameValuePair("formName", ""));

nvps.add(new BasicNameValuePair("method", ""));

nvps.add(new BasicNameValuePair("submit", "登录"));

nvps.add(new BasicNameValuePair("email", userName));

nvps.add(new BasicNameValuePair("password", password));

try {

httpost.setEntity(new UrlEncodedFormEntity(nvps, HTTP.UTF_8));

response = httpclient.execute(httpost);

} catch (Exception e) {

e.printStackTrace();

return false;

} finally {

httpost.abort();

}

return true;

}

private String getRedirectLocation() {

Header locationHeader = response.getFirstHeader("Location");

if (locationHeader == null) {

return

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。