人员、任务、进度、工时、周期、依赖关系 一目了然。无论项目大小、简单复杂都能轻松管理
最近个人站被一SB给爬了,之前没发现,都爬了几个月了。之所以是SB就是拿着个火车头就认为自己爬遍网络无阻拦了。记录一下最近对防抓的研究和理解
防抓可以分为主动和被动,主动被动是对于网站来说的。下面的策略都得先过滤掉蜘蛛
被动防御
1.统计单位时间内单个IP的访问次数
2.统计单位时间内单个UA的访问次数(针对火车头)
主动防御
1.302跳转
2.js跳转
3.cookie验证
前两个没啥好说的,很简单的,着重说一下后面三个的实现方式
302跳
最近拿一台双核1G的kvm vps搭建了一个图片的服务器,前面用百度云加速扛着,有了个专业图片存储及CDN的样子。每天还是有50W左右的PV,流量在30G左右。总结一下最近接触过的两个分布式小文件系统weedfs和fastdfs。
fastdfs的详细介绍看这里=》传送门
weedfs官方地址=>传送门
在两个系统中都有一个负责管理存储节点或者存储卷的服务,weedfs中叫master,而fastdfs中叫做tracker。下面是在文档中对各自的master的解释
Fas