Java-在抓取网页的时候,怎么用一个cookie抓取所有的网页

小组聊天灌水 小组聊天灌水 主题:993 回复:2175

Java-在抓取网页的时候,怎么用一个cookie抓取所有的网页

清晨说ぺ晚安 发布于 2017-07-16 字数 120 浏览 1067 回复 4

在抓取网页的时候,登录即输入检索条件之后,怎么获取这个cookie,并用这个cookie用于后面输入条件查询后所得的页面的抓取

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

支持 Markdown 语法,需要帮助?

评论(4

夜无邪 2017-09-30 4 楼

把response里的setCookie字段搜集起来,拼成cookie字段就可以了。
例如,我查询一个网站,返回的response如下

涉及到个人信息,我把具体字段给划了,反正你是要解析到setCookie字段,拿来用就可以了。

夜无邪 2017-09-09 3 楼

HttpClient 可以记录你的登陆状态。 里面记录你的cookie。 后续的抓取就可以了。

偏爱自由 2017-08-19 2 楼

1、原生的方法:直接读取response里的setCookie
2、如果使用第三方库,例如HttpClient的话,它会自动管理cookie的,直接取就可以了

晚风撩人 2017-08-17 1 楼

如果你在登录阶段没有问题,可以登录成功,那么可以这样获取Cookie:
cookies = httpClient.getState().getCookies();

然后在请求别的网页时带上这个cookie就行了。