quantumultX神器的使用
Quantumult X 是目前 iOS 平台主流的全能网络工具,提供 MitM、HTTP Debug 乃至 JS 脚本等诸多功能,同时保持了相当高的易用性。
这是一个付费软件,需要在 App Store 进行购买才能使用。
squid代理介绍和使用
爬虫玩得好,牢饭吃到饱。
目前免费的代理池几乎不能用, 稳定的代理池收费又比较高。趁着双十一撸了几台便宜的云服务器, 直接拿来当代理服务器使用了。
squid服务程序是一款在Unix系统中最为流行的高性能代理服务软件,通常会被当作网站的前置缓存服务,用于替代用户向网站服务器请求页面数据并进行缓存,通俗来讲,squid服务程序会接收用户的请求,然后自动去下载制定数据(如网页)并存储在服务器内,当以后的用户再来请求相同数据时,则直接将刚刚存储在服务器本地的数据交给用户,较少用户的等待时间。
logseq笔记的使用
mac的app快速切换
爬虫IP代理池
对于爬虫来说,由于爬虫爬取速度过快,在爬取过程中可能遇到同一个IP访问过于频繁的问题,此时网站就会让我们输入验证码登录或者直接封锁IP,这样会给爬取带来极大的不便。
使用代理隐藏真实的IP,让服务器误以为是代理服务器在请求自己。这样在爬取过程中通过不断更换代理,就不会被封锁,可以达到很好的爬取效果。
mongodb的主从复制流程
supervisor进程管理使用
supervisor是一个C/S系统,它可以在类UNIX系统上控制系统进程,由python编写,提供了大量的功能来实现对进程的管理。
