首页 > 编程知识 正文

陕西历史博物馆官网,陕西省历史博物馆

时间:2023-05-03 18:40:22 阅读:250429 作者:3746

一、网站历史博物馆是什么

网站历史博物馆是专门针对整个互联网的历史进行备份的一个网站,在该网站上可以看到大部分的网站的历史快照,其数据完整程度取决于该网站本身,有很多这种网站,其数据库的数据量甚至超过搜索引擎。

目前国外比较知名的是archive.org   准备好梯子

国内的是忆网昔www.lookforpast.com

另外有一个中国web信息博物馆的网站,但是目前打不开,不知道什么情况。

archive的查询要从时间戳里再挑选快照截图,忆网昔的更加直接,输入域名后一键提交,查询出所有域名相关的直链快照截图,点击可放大看。


二、利用其来过反爬

我们可以先在这个网站历史信息博物馆查询某个网站的历史信息,先获取目标网站的一些摘要信息,然后我们再对某些特定的内容进行详情爬取,这样可以在一定程度上过掉反爬。甚至,某些时候,我们如果只需要这些网站的摘要信息,那么我们只需要获取这些历史信息即可,往往这些个网站是没有反爬措施的。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。