作者：琅岐
渗透测试离不开扫描仪。 毕竟目标很多，需要检查的地方也很多，不能全部手动进行。 因此，许多渗透者都有自己的自动化工具和脚本。 这里是我自己开发的自动化全网漏洞扫描工具。
扫描原理
用Python Mysql制作的扫描仪，主要目的是实现自动收集网站，扫描网站的常见漏洞。 我想挂机自动挖掘敏感信息，发现网站漏洞，隐藏可用漏洞
软件工程的核心功能必须满足以下需求： 1、可以无限滚动收集网上生存的网站链接2、可以扫描验证收集的链接是否生存3、Mysql数据库和服务器负载均衡处理
漏洞扫描验证功能。 1、备份文件扫描功能2、SVN/GIT/源代码泄漏扫描功能。 其中webinfo信息扫描功能3、编辑器漏洞扫描功能4、SQL注入漏洞自动检测功能5、使用Struts2框架的站点验证功能(舒适度) 6、扫描站点IP扫描危险端口功能7、CMS类型识别)主要
软件流程
查看结果
图中显示的是挂机扫描的备份文件。 机密信息的泄露、注入、cms类型识别、st2框架、端口开放等。 挂机打洞，基本上是详细写漏洞报告，勤写多点，就能通过审查。 打洞的意思和刷排行榜等都不在话下。
用户交互模式
如果需要使用Mysql数据库，则无法避免数据库配置问题。 首先是存储软件收集到的漏洞信息的数据库。 可以自己编写数据库结构的语句，让用户自己运行此SQL文件来创建此数据库。
接下来是数据库的连接问题。 由于每个人的数据库地址、帐户、密码等环境可能会有所不同，因此，此步骤始终需要一个交互过程。 要填写数据库配置信息，是直接运行软件后让用户输入数据库帐户密码吗？ 还是要创建新的配置文件？ 我选择了后者，制作了新的config.ini。 除了填写数据库的配置信息外，它还具有该软件的核心使用功能。 例如，如果您只想无限地收集网站和扫描备份文件，则可以在此文件中进行配置。
为了避免重复爬行的数据，每个人都考虑首先让用户收集一些网站作为初始网站，然后根据这些网站无限爬行。 第一次运行时应该提示导入初始网址，第二次运行时怎么样？ 是否要导入第一个网站并继续爬行？ 那样就没有艺术性了。 我的方法是，在前面提到的Config.ini文件中有配置项，第一次运行时写入第一次运行并保存，然后每次运行时检查是否导入第一次运行等。 你可以从这里拿出来。 如果试图无限期爬行，出现无法立即回收的内存垃圾，且经过一段时间后整个扫描会变慢，则需要添加自动重启功能。 ）
收集到数据后一定要显示出来保存利用。 因为所有数据都在数据库中，所以我想编写另一个用于导出数据的软件，以便不知道Mysql的用户可以方便地使用。 但是后来想想，我觉得有点多余，好像有侮辱在座各位智商的意思一样。 那么，总结一下思路，首先写两个文件=Config.ini (数据库配置文件和扫描仪配置文件) database.sql，然后用户自己首先收集几个网站
工程框架
要实现的功能有点多，为了便于今后的维护，应该把各个功能封闭在一个函数中。 该函数接受一个参数URL，验证所传递的参数。 在验证过程中也有很多需要注意的地方。 例如，在无限采集站点函数中，访问一次采集的站点，检查是否生存，将无法访问的站点添加到数据库中，以免浪费时间和资源。 验证生存的方式应该通过head报头访问方式来判断返回的状态代码。
如果还要判断CMS类别，就不应该局限于CMS指纹方式扫描。 并且，在页面上查找关键字，访问robots.txt判断CMS类别。 SQL扫描我一开始直接在页面上爬，寻找可疑的注入点，然后加上单引号括号反斜杠等，以匹配数据库中的错误语句。 过程没有错，但从工程上看是不妥当的。 然后，在098版本中，在数据库中创建新表，并专门存储爬行的注入链接。 如果您觉得扫描仪的监测注入方法不完整，还可以导出这些爬行的链接，并在sqlmap -m中批量检测注入点。需要注意的是。
改进的容错和优化
扫描中一定会发生误报。 可以强化的一点是在验证漏洞的函数中，举个例子，使用ST2框架的网址。 我的想法是加上常见的关键字后缀，判断页面会返回关键字和状态代码。 这里一定会发生误报。 需要改进的是寻找很多误报页面的关键词进行过滤。 还有编辑器漏洞。 我只加载了两个编辑器： Webeditor和Fckeditor的漏洞扫描验证，所以不太全面。
普通的
来说这种全网性质的扫描，基本上没有人舍得用自己的宝贝电脑挂机跑，都是丢在服务器。我的服务器是一台腾讯云 1C1M2G 的主机，运行 095 版本的时候，基本上开三个线程 CPU 保持在 40% 左右，还行。但是运行 098 版本的时候，同样的配置同样的线程，CPU 持续 90% 左右。服务器负载 太大，就不能在运行别的一些服务应用，于是我在程序中做了线程同步处理，还有一些地方做了优化，CPU 使用率下降到 20-40 之间，但是带来的后果就是整个扫描速度变慢，于是我试着开了 5 个线程，CPU 基本上稳定 80%。加上自动重启后，自定义重启时间，基本上控制好在 40-70 之间，还是需要进一步优化。代码功能补充
比如在扫描备份文件的时候，办法是导入备份文件的字典。但是有一些网站的备份文件命名方式是以域名为名字。比如www.langzi.fun/langzi.rar
这样的备份文件，这里就需要切割域名拼接成字典，当然后缀也不能只限于 rar，还有 zip,bak,sql,tar.gz,txt 等等...检测 CMS 类别用到了三种方法来逐一检测，如果第一种方法成功识别 CMS 类别后就不再继续执行后面的两个方法，这样做一来是节省资源和时间，二来是数据浪费，你只需要知道这个网站用的 CMS 类别就可以了，没必要知道有多少种方式检测到的。
当然还有 SQL 注入这一块，Sqlmap 检测注入的顺序是 B(盲注) E(数据库报错注入) U(union注入) S(多语句注入) T(基于时间注入)。一般来说，存在数据库现错注入，联合注入等方式的注入都支持盲注，什么意思呢，就是说盲注能发现并检测到注入，是最全面并且容错率很高的检测方式。然而这款扫描器用的检测注入识别方式是 E(数据库报错)，等到以后有机会在更新好了。编辑器漏洞这一方面由于别的编辑器漏洞利用条件有限，而且网上报出的编辑器漏洞基本都是几年前的，我也就没添加进去。
Yoland_Liu 敏感情报扫描器
某天无意和害羞的盼望聊起这个话题，见她有兴趣我就详说了这个扫描器的核心功能和工程设计思维，但是我前面的构架代码写的太难看(这就是为什么我迟迟不敢开源的原因/捂脸)自己都不想去维护。接下来整个项目都交给她，基于核心思想上，写出了新版本，并且添加了新的功能。为后来我继续更新的 0.98 版本提供了更加完善的构架基础。为了感谢xjyb作出的杰出贡献，所以扫描器命名 Yoland_Liu 危险情报采集扫描器。
优点与缺点
优点：数据库数据重复处理，CMS 验证方式新增为 3 种，包括识别页面关键字，robots.txt 文件关键词识别，另外添加使用 ST2 框架网站的扫描，数据库优化，原始代码重写，更加稳定方便维护。
缺点：虽然整体的框架优化好了，但是却没有做内存垃圾回收，线程的方面没有控制好，导致如果一直挂着的话后面速度会越来越慢。因为专业性的问题，还有一些漏洞扫描功能并没有添加进去，所以造轮子这个活就落在我身上，后面更新版本都是基于0.95版本上加上其他漏洞扫描功能。
补充说明
这个 0.95 版本虽然在内存上没有做好优化，但是却可以通过加上自动重启功能来解决问题，并且与后来我写的 0.98 版本对比来说，0.95 速度更快(因为需要扫描的项目功能比较少)，更加稳定( 0.98 版本虽然功能添加很多，但是对服务器负载很重，虽然我在 0.98 版本中做了内存优化处理，并且也添加了自动重启功能，但是最多也只能开 5 个线程 (CPU:80+%)，最少开 3 个线程 (CPU:40+%)),要注意的是，开启多线程最少要开 3 个。
最新版 0.98 下载地址：
密码：frwp (解压密码默认 lang)，此版本首发信安之路
使用说明
配置文件
zsdyet解压文件后要注意下面这几个文件，这些文件关系到数据库配置，软件个性化扫描，线程设置，初始扫描导入网站等等。
使用方法1、首先安装好 mysql 数据库 2、把 mysql.sql 文件执行，然后刷新以下会发现多了一个数据库 3、配置 Config.ini，上面部分是数据库配置相关设置，下面是软件扫描功能设置。
需要注意的是 Config.ini 这个配置文件，上面的数据库配置很好理解，数据库地址设置 127.0.0.1 或者 localhost 都可以。
为了更加多元化的使用，你可以选择性的使用某些功能，具体看参数是 0 还是 1，这里 0 就是关闭的意思，1 就是开启的意思，如果你想只检测 cms，就设置 cmsscan=1,另外 thread_s 对应的是线程数，new_start 是检测是否第一次扫描，默认是 1，设置 1 的话，每次打开都会提示让你导入一些网站作为初始网站。程序检测到加载初始网站后，会自动把这个参数改成 0。
关于导入初始网站，你可以采集一些网址，然后保存在主程序文件夹里面的一个文本中，当提示导入的时候输入这个文本的名字即可。第二次运行的时候，无需配置，扫描器会自动从数据库获取数据然后无限爬行扫描，如果这一方面还有疑问的话可以加我 QQ 联系我。
结语
在这款扫描器诞生前一年，也就是 17 年 2 月份的时候，我也写过一款失败的扫描器 (Iosmosis Scan)，说来现在最新的 0.98 版本依稀可以看到 ios scan 的一点影子。不可否认 ios scan 是失败的，但是为现在的扫描器鉴定了大部分框架蓝图，比如备份文件和源码泄漏功能都是直接从那里继承过来的。ios scan 还集成了数据库，ftp，telnet 等爆破功能...说来感觉还是有点呆。
在未来的日子里会不断更新添加新的功能，遵循此扫描器的核心思想>>>>无限永久自动爬行。无限自动检测就是这款扫描器的灵魂，就像一只孜孜不倦的蜘蛛，把网织得越来越大。扫描器会一直免费更新下去，敬请期待。