cc和抓取的防御方法

最近个人站被一SB给爬了,之前没发现,都爬了几个月了。之所以是SB就是拿着个火车头就认为自己爬遍网络无阻拦了。记录一下最近对防抓的研究和理解 防抓可以分为主动和被动,主动被动是对于网站来说的。下面的策略都得先过滤掉蜘蛛 被动防御 1.统计单位时间内单个IP的访问次数 2.统计单位时间内单个UA的访问次数(针对火车头) 主动防御 1.302跳转 2.js跳转 3.cookie验证 前两个没啥好说的,很简单的,着重说一下后面三个的实现方式 302跳

分布式小文件系统fastdfs与weedfs的对比

最近拿一台双核1G的kvm vps搭建了一个图片的服务器,前面用百度云加速扛着,有了个专业图片存储及CDN的样子。每天还是有50W左右的PV,流量在30G左右。总结一下最近接触过的两个分布式小文件系统weedfs和fastdfs。 fastdfs的详细介绍看这里=》传送门 weedfs官方地址=>传送门 在两个系统中都有一个负责管理存储节点或者存储卷的服务,weedfs中叫master,而fastdfs中叫做tracker。下面是在文档中对各自的master的解释 Fas