cURL-curl是否可以只获取目标地址的一部分?

UI设计界面 UI设计界面 主题:1059 回复:2190

cURL-curl是否可以只获取目标地址的一部分?

瑾兮 发布于 2017-02-03 字数 313 浏览 1025 回复 1

某个网页,curl整个下载回来大小为2m左右,耗时30秒.
能不能实现只下载这个网页的某一给小部分,比如说30分之一,让整个流程耗时缩短为1s?
用命令行下面的curl -r选项应该不能实现这个需求,php的curl库有没有这样的实现?
目标地址不是静态html,也没有点号然后一个xxx这样形式的后缀.
且对方apache忽略Range报头..

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

支持 Markdown 语法,需要帮助?

评论(1

虐人心 2017-06-02 1 楼

设置Range属性,格式文档里面应该有。不过没法按比例吧……
有些地址会返回Content-Length,先用一个HEAD命令获取到就能知道有多大;但是更多的,尤其是动态页面(PHP之类的)是不会预先返回Content-Length的,它经常是边运行边输出,不知道会输出多大。这种要返回多少分之一就不可能了。
对抓取来说经常是开头的1K或者10K就很有用了,能返回页面标题、meta属性之类的。