爬行动物可以用多种语言实现。 python的易用性，python的功能。 在这里，我们使用程序：爬上域名下的所有页面，并将页面之间的指向关系存储在词典中。 可以通过设置域名区域来设置深度和深度。 程序原则：1。 使用打开网页，使用BeautifulSoup分析打开网页； 2 .使用函数查找网页中的链接，并保存列表中的链接； 3 .步骤1、继续打开网页，重复几次深度。 程序点：1。 打开网页并设定时间间隔很重要。 不能马上打开。 接下来。 否则，它会在黑名单网站上注册，一方面拒绝网页请求，另一方面可能会导致web服务器网页压力2 .记录爬行路径，避免重复爬行。
3 .必须区分记录是否为内部页面的网站。 这是常见的事情。 情况是，现实的戒指会爬，你不知道在哪里爬。 平均而言，大型网站上有成千上万个指向每个页面的链接。 如果不攀登边界，抓住页面的数量就会加倍。 这是我们不想要的； 4 .尽管有很多看起来不同的链接，但他们实际上是同一个网页。 例如，网站的内容页面：_，_，_。 这些链接看起来不同，但实际上是使用相同的模板自动生成的。 如果你想记录为类别，你需要努力把他们分类。 以下程序仅实现了1、2和3个程序的要点。 最简单的实现方法和基本方法。 关于如何实现4，我还在考虑。 在下一篇文章中更新。 要进一步优化消息讨论欢迎代码的实现，包装器UrlParser [x]主要在下面的：[x]节中定义了如何基于当前页面搜索链接列表解析器[x] isInnerLink [x]将蠕变结果的保存图形代码编码为：# - * -编码3360_TF-8-*- 定义如何存储。从u201C进口urlopenfrom bs4进口BeautifulSoupimport熊猫PD导入时间导入随机导入， loggingclassurlparser : def _ _ init _ (3360=域名打印(==域名深度=(#httpurl )，否则URL将完成(url==None
、url )！=none (恢复到： URL else : (u201d : (情况()/() ) ) :URL=URL )2)时((r*(\w ) )。 (201c ) )。 (u201D，url )！=none (: (http : (/(URL else : (u 201 celif (()/) ) return else 3360 ((r ) () () ) ) ) 652 (u201D，url )！=none(:返回“http:(/) URLelse:访问) u201c#linklistpre时，相反指向网页内的链接，分析网页内的链接LinkListpre LinkListnext ) :linklistpreurl3360中存在(URL )问题3360 html=urlo peer baseexceptione : (u201c解析器33603360360360360360606006