PHP-如何采集防采集网站的数据

PHP-如何采集防采集网站的数据

归属感 发布于 2017-10-02 字数 269 浏览 1156 回复 5

最近做数据采集,发现浏览器可以直接打开,用view-source方式也可以查看到源代码,但是采用PHP去抓取数据的时候,出现403,使用工具模拟浏览器去采集数据也是出现同样的情况。不知道有没有办法可以解决这样的问题。
以下是采集的网站http://yyk.39.net/area-gz-0-0-1-1-2.shtml

如果你对这篇文章有疑问,欢迎到本站 社区 发帖提问或使用手Q扫描下方二维码加群参与讨论,获取更多帮助。

扫码加入群聊

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(5

想挽留 2017-10-24 5 楼

附上userAgent, 或者抓包分析!
采用firefox分析多判断 ,有些网站会判断cookies 之类的情况。建议用curl模拟!

归属感 2017-10-21 4 楼

见招拆招,伪装成搜索引擎,赋上所有的头信息,观察有没有其他校验参数,如果是ajax请求的数据,就直接请求

晚风撩人 2017-10-16 3 楼

用Chrome的网络工具把请求头记录下来,然后你伪造的请就的带上这些数据。记得Cookie和Referer、Useragent也带上。

夜无邪 2017-10-15 2 楼

GET后能正常接收数据,请自查;

灵芸 2017-10-03 1 楼

附上userAgent, 或者抓包分析!