开发项目中经常会用到redis做临时存储,比如一些上报较为频繁的浏览、点击等记录信息,都会事先丢到redis中,再由定时脚本将redis中的数据读取出来,处理完成过后入库、删除redis信息,一套下来行云流水,看起来并没有任何问题...
使用python借助无头浏览器获取登录过后的cookie
写爬虫经常会遇到需要登录的情况,有的网站可能会做一些前端加密之内的操作,去慢慢分析包可能还不如借助无头浏览器模拟人工登录来的效率,当然如果还有人机验证的话这篇文章就不在考虑范围内了
python3 通过年月日获取准确的年龄
要做个防沉迷验证,需要精确判断0-8,8-16,16-18和18+的用户,单纯使用年份相减显得不太严谨
PIP安装提示ERROR: Cannot uninstall ‘setuptools’.
正在做一些数据迁移, 结果某个脚本迁移过来过后, 缺少某个库, 果断pip install一下, 好家伙...直接提示
ERROR: Cannot uninstall 'setuptools'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.
debian ubuntu 假蜘蛛硬核过滤方法
这几天服务器带宽无缘无故升高了很多, 看了一眼nginx日志,发现有很多Baiduspider的请求,百度啥时候这么给力了?
随即在nginx配置中过滤掉了所有带有Baiduspider字样UA的请求,带宽瞬间降低
怀疑网站遭受了伪装成爬虫的CC攻击
继续阅读“debian ubuntu 假蜘蛛硬核过滤方法”