Daily Archives: 2024 年 9 月 12 日

1、通过User-Agent来控制访问 无论是浏览器还是爬虫程序，在向服务器发起网络请求的时候，都会发过去一个头文件：headers，比如知乎的requests headers
对于爬虫程序来说，最需要注意的字段就是：User-Agent
很多网站都会建立user-agent白名单，只有属于正常范围的user-agent才能够正常访问。

攻：难度⭐
可以自己设置一下user-agent，或者更好的是，可以从一系列的user-agent里随机挑出一个符合标准的使用。 2、通过IP限制实现…