将手机4G封为热点防范网站ip需求背景寻找免费代理商通过手机热点切换电脑ip后述
需求背景
我今天打工写爬虫的时候，遇到了一个有洞的网站。 我第一次去多人跑步。 爬了几十页就关闭了ip。 而且是永封。 然后，换了几个代理商，设置了单人并行跑，慢了5s一次，这样一次就能爬几百页。 但是，发生了问题。 我恐怕需要十几个代理。 你去哪里找代理？
要找免费代理商首先，我根据往常的经验运行自己的脚本去网上抓免费代理商，可惜发现这个网站在免费代理商上用不了几百个。 于是我只好找收费代理店，但被价格邀请了。 大概需要几百美元一个月左右吧，完全不知道能不能用。 啊，这个价格我可以自己做多台服务器。 但我的目的是寻找廉价稳定的代理ip。
在手机热点切换电脑ip之前对数据进行了分析，发现用手机交换ip非常方便，所以我想通过手机热点获得电脑可能会有免费切断ip的效果。 当然，在自己家里可以拨号的同学可以直接拨号交换ip，但是租用像我这样的房间是没有帮助的。 和关闭/打开手机的效果一样。 总之，用手机或电脑重新链接的话，可以获得最方便的ip交换效果。
在后面的实际爬虫测试中，网站进入50页会永远屏蔽ip，所以你每爬50页就必须用手机重新启动飞行模式更换ip。 网站共有1400页。 也就是说，我手动更换IP 20次以上。 虽然已经可以了，而且在成本上比买代理商划算多了(4G无限流量套装终于发挥作用了)！ 果然很麻烦呢。
总之，写爬行动物的真正的洞。