有句话叫“三月爬虫”。 指的是临近毕业时，需要收集数据写毕业论文的学生们。 因此，在网上找几个教程，稍微学习一下requests、urllib和正则表达式的皮毛，爬行动物就会开始疯狂地从网上爬数据。 这些爬行动物几乎没有隐藏自己的行动，不改变IP，不设置headers，不限制速度，反而容易被攀爬的网站屏蔽，反而容易给不会攀爬的小网站带来流量压力。
然后，他们知道要看哪些文章，使用代理IP，然后修改用户代理。 因此，他们真的只在headers上设置用户代理，不设置任何其他项目。 请向他指出。 他还在振振有词。你看我这样能爬到数据啊，headers里面其他项目没有用。
事实真的是这样吗？
做个实验吧。 首先使用Chrome访问名为http://httpbin.org/headers的网站时，会显示当前你的headers。 执行效果如下图所示。
然后，如果不使用requests设置名为headers请求的URL，其行为将如下图所示。
最后，我们只设置一个用户代理来看看效果：
只要安装一个用户代理，就可以看到与用浏览器访问的标题有很多不同之处。 缺了很多项目。 在网站上，只需检测缺少的这些项目，就可以确定是来自程序的请求还是来自浏览器的请求。
说回微信网页版的问题
许多人通过Python控制自己的微信号，使用wxpy 或itchat 第三方库实现许多自动化操作但过了一段时间，他反馈说自己被限制登录微信，并担心自己的行为被微信发现了。 例如，一秒钟发送几十条消息，同时回复好几个人的消息。
但我想说的是，你们太高估自己了，微信为了发现你们，没那么麻烦。 直接检查headers就可以了。
让我们看一下wxpy源代码中与网络请求相关的部分：
wpy基于itchat进行二次开发，登录功能通过itchat实现。 让我们看看在itchat上开始提出互联网请求的地方：
的self.core.s是requests的Session，如下图所示。
两库不要随便用
这两个库，他们在headers中只放了用户代理，没有放其他字段。 所以在你登录的瞬间，微信已经知道你的账户没有用浏览器登录了！
所以，那些用了wxpy或者itchat就被限制登录网页版微信的人，不要怀疑，你们就是被这两个库给害了。这两个库包含有关web请求的代码。 看等级，是学了两三天爬虫的人写的代码。
使用这两个库就是让你的微信号致死。
不仅要看这两个库，还要看很多人使用的Python弹幕包。 更夸张地说，获取斗鱼的实时信息时，直接用requests请求网站。 连标题都没有设置。 下图：
后果很严重
目前，大型网站机器行为对抗小组一般分为检查爬虫类和封闭爬虫类。 反爬虫策略越多，就越不可避免地出现误吸，为了尽量降低误吸率，爬行动物检测过程中对请求的可疑性进行评分，勇敢美女行为疑似行为的，对请求进行评分，行为分高行为分低行为分神勇的美女总积分达到一定程度后，呼叫方块流程。
HTTP是无状态的，如果你不需要登录你要爬的网站，频繁交换IP可能会有帮助(飞百合的代理池就是这样被污染的)
但是，如果你需要微信这样的登录，你所有可疑行为的积分都会直接与你的这个账户相关联。 于是，一开始用wxpy登录网络版微信可能也没问题。 这个时候，你的可疑点还不够。 确实，旧的古董浏览器的标题可能减少了很多吗？
但是你已经在怀疑的名单上了。 如果你又有了别的可疑行为，可疑点还在继续增加，当微信能100%确信你用的自动化程序登录了网络版微信的时候，屏蔽你是很自然的事情。
扩展Python :这是我见过的最好的Python零度基点Pandas教程(可下载)我用pyhton开淘宝店做赚钱工具的超有趣的Python综合能力测试网站技能GET )拍了一拍，www 技术人员搜索引擎，提高了n倍的搜索效率！ 综合了网络整体热点信息的神网站