首页 > 编程知识 正文

网络监控系统的设计与实现,大数据流式计算

时间:2023-05-04 18:26:31 阅读:109506 作者:1329

【摘要】计算机网络流量监测已经成为网络安全管理的重要手段,本文介绍了通过深度消息检测技术优化网络流量监测的同时,完成模型的设计和技术的实现,通过测试,本

【关键词】RAT流量监测流量分析

随着计算机网络的迅速发展和普及,网络流量监测分析受到越来越多的关注。 高效合理地运行网络流量实时监测分析系统,能够在最短的时间内发现安全威胁,第一时间进行分析,识别攻击源。 网络业务监控分析的基础是协议识别技术,当前主要方法是端口标识符、深度消息检测DPI、深度流检测DFI以及这些方法的混合。

DPI技术是一种基于特征单词的识别技术,可以基于不同协议的特征来检测和识别具体的APP协议。 DPI具有检测精度高、原理比较简单、实现速度快等诸多优点,因此具有比较广泛的应用。 本文介绍的网络流量实时监测分析系统(以下简称RT-TMA,real-timenetworktrafficmonitorandanalysissystem )采用DPI技术实现协议识别。

网络流量监控模块设计

基本协议分析模块: OSI模型由七层网络协议组成,数据封装后自上而下传输。 因此,网络协议的分析也需要自上而下地实施。 例如,对网络层、链路层的传输协议进行解析识别后,重构协议,将协议报头中包含的数据信息传递到上层进行解析,从而持续到网络传输层,通过协议报头信息进行解析处理

会话模块重组:由于网络传输必然存在数据丢失、位置错误等问题,数据包也很可能通过不同的网络传输路径到达用户终端,到达时数据包的顺序会发生变化。 在数据包传输过程中,主要由网络协议有效控制,一旦发生丢包等情况,系统会自动重新发送数据包。 因此,会话重组必须解决数据包顺序错误和重传问题,提高会话重组的效率。

网络协议识别模块:计算机网络流量实时监测系统的核心是网络协议识别引擎,HTTP传输协议、P2P传输协议等都是基于网络协议识别引擎网络协议识别引擎可以利用其特征有效地与会话重构数据匹配,还可以利用数据交互等特征深入分析数据信息。

APP应用层协议分析模块: APP应用层协议分析是在完成会话重组的基础上实现的,对于部分实现P2P传输协议的APP来说,是在网络协议标识的基础上对会话重组进行深度解码

APP应用层协议分析

1 .基于会话的协议标识

会话重组完成后,需要对每个会话进行采样以标识。 通常会话表按照相应的策略进行维护,计算机网络流量实时监测分析系统可以同时处理256~1024个会话。 识别每个会话需要对会话之前的几个数据包进行处理,通常不会超过16个数据包。 所有后续数据包都将根据预部署的控制策略进行处理。 由于P2P APP应用的网络连接数多、传输量大,为了正确分析和处理P2P网络连接,必须采用基于会话的协议识别技术。

2 .根据端口、特征码进行协议识别

SSH、DNS、Telnet等传统APP应用可以采用简单的端口识别技术,但由于P2P APP应用的特殊性,需要采用动态的端口识别技术。 因此,可以使用模式码识别技术来分析识别P2P APP。 由于P2P APP协议是公开协议,是基于RFC规范的,所以对其协议实现的研究可以采用特征码识别方式,但是由于特征码识别是基于会话来实现的,所以在会话之前会进行

3 .基于APP应用层的协议分析

为了避免检测到深层协议感知,P2P APP应用改变了端口使用模式,采用了随机端口和专用端口。 这样的应用必须在APP应用层协议分析的基础上,对其进行深层次的协议探索。 BT客户端下载数据信息时,首先实施跟踪器的询问,用HTTP传输协议中的GET命令接收从互联网发送来的数据信息,将请求响应发送到下载端。 由于HTTP传输协议请求数据消息包含Bit Torrent特征值,所以需要有效地识别HTTP传输协议,并基于该协议深入搜索识别会话。 针对以上情况,需要基于会话对APP应用层分组实施深层次的分析,通过HTTP分组来识别BT特征值。

4 .未知P2P协议的识别

在P2P APP应用中,必须深入检测未知的P2P APP应用,以识别尽可能多的APP应用层协议。 但是,由于部分P2P APP应用的传输线路被加密,给网络监控管理行业带来了巨大的挑战。 为了有效识别部分P2P网络流量,并对其进行深入分析和统计,本文采用近似统计的方法来实现。 近似方式基于P2P网络协议设计,与其他网络协议存在一定的差异,由于只检测包头中包含的信息,不需要检测分组的有效载荷,因此是一种高效、简单、方便的识别方法。

RT-TMA的系统模型与实现

RT-TMA是为高校校园网、实验室网和中小企业设计的网络流量实时监测与分析系统。 与其他网络流量监测系统不同,RT-TMA提供了丰富的二次开发接口,为网络流量监测分析相关的开发者和科研人员提供理论验证和算法研究的实验平台。

规则库主要包括具体协议的DPI特征词及其检测算法的实现,同时包括传统规范网络应用的端口表

,以用于配合DPI引擎完成对具体协议的识别。

DPI引擎是RT-TMA的核心,可在DPI规则库、数据库(配置信息等)、可选的扩展库以及用户操作等基础上,完成对网络流量的协议识别、统计、分析等功能。

RT-TMA用户界面作为人机交互界面,主要提供用户操作和管理DPI引擎、显示各类信息等。

网络流量实时监测与控制主要是对大量消耗网络资源的应用进行流量限制和会话阻断,包括BT下载应用、P2P应用等,以确保网络资源得到合理使用。首先根据网络协议识别引擎的分析结果,再对P2P应用、BT应用、PP Live应用等进行深入分析和全面识别,再根据网络流量控制策略,对应用层进行实时监控,一旦发现网络流量异常等情况,立刻启动系统日志记录功能,并且向NMS发出报警信息。

本文提出的计算机网络流量实时监控分析系统采用的是旁路控制技术,旁路控制机制包括三个功能部件,分别是速率估计器、连接标记器和阻断生成器。速率估计器主要是根据接收到的分组信息与历史信息进行结合,以此达到每个分组速率平均;连接标记器主要是通过速率估计器得出的结果,按照一定的策略对某些网络连接附加阻断标记。当某个网络连接被加上了阻断标记之后,再利用阻断生成器生成伪造阻断分组,以此实现阻断网络连接的结果。

基于DPI的网络流量实时监控分析系统在网络管理与网络安全防护中起着非常重要的作用,而目前的网络流量实时监控分析大都针对运行商的生动的巨人网络,价格昂贵。此外,作为高校使用的网络流量监控分析系统,还需具备足够的可扩展接口,以便在完成网络管理与安全防护的同时,提供学生认知实习、开放性实验以及科研支撑。为此,本文提出了一种基于DPI的网络流量实时监控分析系统RT-TMA。该系统具有高可扩展性、实现简单、接口丰富等特性,可较好地满足高等院校,特别是高校实验教学中心对网络流量实时监控分析系统的需要。

RT-TMA主要针对高等院校、实验教学中心和中小企业的网络进行流量监控分析,此外,RT-TMA还可作为科研平台和实验平台来使用,因此,在RT-TMA的实现中,采用先实现全部功能再进行性能优化、先实现基本功能再进行二次扩展的思路。

结 语

本文介绍了深度报文的网络流量实时监控分析系统的设计方案和关键技术实现方法,并给出了系统的运行测试结果。该方法对于网络流量监控分析系统的开发、DPI算法研究等,都具有较高的参考价值。

参考文献:

[1]傻傻的花瓣,mddx.基于MRTG的校园网络流量监控[J].中国科技信息,2009(01).

[2]lqdbm,自然的星星.基于SNMP协议的高校网络流量监控管理系统的研究[J].广州大学学报(自然科学版),2009(01).

[3]mydsy.一种网络流量监控算法设计[J].计算机与数字工程,2009(06).

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。