Shell-如何使用 awk 统计 服务器日志每个url的访问次数(排除搜索引擎)?

意见反馈 意见反馈 主题:991 回复:2082

Shell-如何使用 awk 统计 服务器日志每个url的访问次数(排除搜索引擎)?

想挽留 发布于 2016-10-22 字数 279 浏览 1097 回复 2

日志格式为:

117.72.201.7 - - [30/Jun/2012:00:04:09 +0800] "GET /news/3186 HTTP/1.1" 200 19048 "http://www.xxx.com/xxxx/xxx" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.106 Safari/535.2" -

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

支持 Markdown 语法,需要帮助?

评论(2

想挽留 2017-05-08 2 楼

用sed删除搜索引擎的访问记录;参照这个问题 @用SHELL如何统计排序WEB ACCESS LOG

sed "/Baiduspider/d;/Googlebot/d;/Sogou web spider/d;" xxx.log|awk -F' ' '{print $7}'|sort | uniq -c | sort -k1,2 -nr > times.txt
夜无邪 2016-11-14 1 楼

sed "/Baiduspider/d;/Googlebot/d;/Sogou web spider/d;" xxx.log|awk '{url[$7]++} END {for (k in url) {print url[k],k}}'|sort -rn > times.txt

测试过有数组的效率比sort、uniq要高10倍,感兴趣的可以试试。