JavaScript-有人知道这个网站的如何做防止数据采集的吗?

JavaScript-有人知道这个网站的如何做防止数据采集的吗?

归属感 发布于 2016-11-16 字数 169 浏览 1293 回复 2

想从这个网站采点数据,例如页面xiangha.com/bj/18480,发现在页面直接能够打开,如果用

$content = file_get_contents($url);

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

灵芸 2017-05-11 2 楼

完全可以哇。

 <?php
//$url="http://www.xiangha.com/bj/18480";
$url="http://xiangha.com/bj/18480";
$content = file_get_contents($url);
echo $content;
?>

我见过一个网站,采用js输出base64加密串,来屏蔽。

泛泛之交 2017-01-30 1 楼

试试以下两行:

preg_match("|getShopIllustrate('([^']+)|",file_get_contents('http://www.xiangha.com/bj/18480'),$requestStr);

echo file_get_contents("http://www.xiangha.com/bj/module/listOfItem.php?requestStr=".$requestStr[1]);

简单的分析:
你要的数据是通过ajax请求所得,是通过ajax.js 中submitUrl函数发送请求。页面每次请求服务器端都会生成一个TOKEN,当 ajax请求会当参数传过去,再由后台验证。
第一段程序获取 TOKEN,第二段程序拿到TOKEN再请求真正的数据。