URL过滤概述URL过滤功能可以对用户访问的URL进行控制旨在允许或禁止用户访问特定的web资源，从而规范互联网行为。 URL过滤还需要通过引用时间段和用户/组等设置项目，实现对不同时间段和不同用户/组的URL访问控制，更精确地控制员工的互联网连接权限。
URL过滤功能仅支持过滤HTTP或HTTPS协议的URL请求。 如果需要过滤HTTPS协议的URL请求，还必须配置URL过滤的加密通信过滤功能。
URL过滤与DNS过滤的关系：
不仅URL过滤，DNS过滤也可以达到规范因特网操作的目的。 DNS过滤是指过滤DNS请求消息域名，以允许或禁止用户访问特定站点。
URL过滤与DNS过滤对比：
项目URL过滤DNS过滤在控制访问阶段开始HTTP/HTTPS在URL请求阶段在控制域名解析阶段控制粒度控制粒度细，在目录和文件级别控制粒度粗， 只能控制到域名级别的性能影响大性能影响只控制小控制范围HTTP/HTTPS，可以控制URL过滤原理URL分类，以便可以访问与该域名对应的所有服务：预定义URL分类
它嵌入在系统中，预先对许多常用的URL进行了分类。 无法创建、删除或重命名预定义的URL分类。
自定义URL分类
手动配置的自定义URL分类配置有以下两种：
创建自定义URL分类，并将URL添加到该自定义URL分类中。 将属于自定义URL分类的URL添加到预定义的URL分类中。自定义URL分类优先级高于预定义URL分类。
预定义的URL分类查询：预定义的URL分类的查询有两种方法：预定义的URL分类缓存和远程查询服务器。
在设备首次通电时，自动将URL分类预设库加载到预定义的URL分类缓存中。 当用户请求访问URL时，设备在提取URL信息后，首先在缓存中查询与该URL对应的分类。 查询URL的分类时，会按照设定的应答动作进行处理。 在没有找到查询的情况下，在远程查询服务器上继续查询，在找到了与URL对应的分类的情况下，按照在URL过滤器设定文件中设定的响应动作进行处理，将查询出的URL和与其对应的分类信息预先定义的urrl
嵌入白名单功能：大页面通常嵌入指向其他页面的链接，如果仅将主页添加到白名单中，将无法正常访问该主页下的嵌入页面部分。 因此，增加了白名单功能。 该功能使用户的HTTP请求的referer字段(识别用户从哪个页面跳了出来)与白名单一致，如果一致，用户就能够访问该页面。 因此，只要配置一个页面的白名单，用户就可以访问该页面下方的嵌入页面，配置变得简单。
白名单功能有两种实现方法，具体如下。
使用用户手动配置的referer-host，匹配HTTP请求中的referer字段，如果匹配，则允许该URL请求。 如果与HTTP请求的" referer "字段中已配置的" referer-host "不匹配，您还可以选择是否将" referer "字段与所有已配置的白名单规则匹配。 打开referer字段与白名单匹配的功能后，如果referer字段与白名单规则匹配，则允许该URL请求。 打开referer字段与白名单匹配的功能后，直接使用配置的白名单与HTTP请求的referer字段匹配，如果找到匹配项，则允许该URL请求。 referer字段的匹配白名单功能默认打开，用户也可以关闭此功能。
URL信誉和恶意URL: URL信誉：
URL信誉反映了用户访问的URL是否可靠。 打开URL信誉检测功能后，可以阻止低信誉的URL。 查询URL信誉值有两种方法： URL信誉热点库和远程查询服务器。
恶意URL :
恶意URL是包含恶意信息的URL。 打开恶意URL检测功能后，URL过滤功能可以利用这些恶意URL信息阻止后续通信。
URL匹配方法：
URL过滤方式：黑白列表URL自定义分类URL预定义分类远程分类服务器URL的控制动作： URL过滤器的控制动作有许可、警告、屏蔽，其严格度依次提高。
允许：用户可以访问请求的URL。 警告：允许用户访问请求的URL并同时记录日志。 阻止：阻止用户访问请求的URL并同时记录日志。 如果URL属于多个类别，则会在操作模式下执行响应操作。
严格模式：最终动作采取所有命中分类中最严格的动作。 例如，URL属于两个类别，响应动作分别是“警告”和“块”，在这种情况下执行“块”。 松散模式：最终动作采取所有命中分类中最宽松的动作。 例如，URL属于两个类别，响应行为分别为“报警”和“阻止”，在这种情况下将执行“报警”。 URL过滤流程：如果NGFW启用了URL过滤功能，则当用户通过NGFW使用HTTP或HTTPS访问网络资源时，NGFW会进行URL过滤。
图： URL过滤处理流程处理流程：
白名单自定义URL预定义URL远程预定义详细URL过滤处理流程：
图：详情
细URL过滤处理流程用户发起URL访问请求，如果数据流匹配了安全策略，且安全策略的动作为允许，则进行URL过滤处理流程。
FW检测HTTP报文是否异常。
如果HTTP报文异常，则阻断该请求。如果HTTP报文正常，则进行下一步检测。FW将URL信息与白名单进行匹配。
如果匹配白名单，则允许该请求通过。如果未匹配白名单，则进行下一步检测。FW将URL信息与黑名单进行匹配。
如果匹配黑名单，则阻断该请求。如果未匹配黑名单，则进行下一步检测。FW将HTTP请求中的referer字段与白名单进行匹配。
如果HTTP请求中的referer字段与配置的referer-host匹配，则允许该请求通过。如果HTTP请求中的referer字段与配置的referer-host不匹配，用户可以决定是否使用referer字段去匹配所有配置的白名单规则。 当referer字段匹配白名单功能开启时，会使用referer字段与配置的所有白名单规则继续匹配。 如果匹配，则允许该请求通过。如果未匹配，则进行下一步检测。 当referer字段匹配白名单功能关闭时，不会使用referer字段与配置的所有白名单匹配，而是进行下一步检测。referer字段匹配白名单功能默认开启，如果要关闭该功能，可以配置undo referer-filter whitelist-all enable命令。
FW将URL信息与自定义分类进行匹配。
如果匹配自定义分类，则按照自定义URL分类的控制动作处理请求。如果未匹配自定义分类，则进行下一步检测。FW将URL信息与恶意URL、低信誉URL进行匹配。
如果匹配恶意URL或低信誉URL，则阻断该请求。如果未匹配恶意URL或低信誉URL，则进行下一步检测。FW将URL信息与本地缓存中的预定义分类进行匹配。
如果在本地缓存中查询到对应的分类，则按照该分类的控制动作处理请求。如果在本地缓存中没有查询到对应的分类，则进行远程查询。 如果远程查询服务器可用，则继续进行远程查询。如果远程查询服务器不可用，则按照缺省动作处理请求。启动远程查询。
如果远程查询服务器在设定的超时时间内没有返回结果，则按照管理员配置的“超时后动作”处理。如果远程查询服务器上明确查询到该URL属于某个预定义分类，则按照该分类的控制动作处理。 URL远程查询过程：一般来说，URL远程查询由安全中心、调度服务器和查询服务器共同完成。各设备的作用如下：
安全中心：安全中心的域名为sec.huawei.com，作用是对FW进行设备认证。如果认证通过，安全中心将根据FW所在的国家/地区信息，向FW提供该区域内的调度服务器地址和端口。
和安全中心进行交互时，FW上需要配置安全策略放行相关流量，协议为TCP，目的端口为80。
调度服务器：调度服务器的作用是向FW提供区域内的查询服务器地址和端口。由于调度服务器是分区域部署的，所以FW上必须配置正确的国家/地区信息，否则无法成功获取到调度服务器的地址和端口。
和调度服务器进行交互时，FW上需要配置安全策略放行相关流量，协议为TCP，目的端口为12612。
查询服务器：查询服务器的作用是处理查询请求，并将查询结果返回给FW。查询服务器也是分区域部署的，且和调度服务器存在配套关系，即调度服务器只能向FW提供同一区域内的查询服务器地址和端口。
和查询服务器进行交互时，FW上需要配置安全策略放行相关流量，协议为UDP，目的端口为12600。
安全中心：安全中心的域名为sec.huawei.com，作用是对FW进行设备认证。如果认证通过，安全中心将根据FW所在的国家/地区信息，向FW提供该区域内的调度服务器地址和端口。
和安全中心进行交互时，FW上需要配置安全策略放行相关流量，协议为TCP，目的端口为80。
调度服务器：调度服务器的作用是向FW提供区域内的查询服务器地址和端口。由于调度服务器是分区域部署的，所以FW上必须配置正确的国家/地区信息，否则无法成功获取到调度服务器的地址和端口。
和调度服务器进行交互时，FW上需要配置安全策略放行相关流量，协议为TCP，目的端口为12612。
查询服务器：查询服务器的作用是处理查询请求，并将查询结果返回给FW。查询服务器也是分区域部署的，且和调度服务器存在配套关系，即调度服务器只能向FW提供同一区域内的查询服务器地址和端口。
和查询服务器进行交互时，FW上需要配置安全策略放行相关流量，协议为UDP，目的端口为12600。
URL远程查询过程：
图：URL远程查询过程 FW向华为安全中心发起认证请求，并请求调度服务器的地址。认证通过后，华为安全中心根据FW的国家/地区信息，向FW提供该区域内的调度服务器地址和端口。FW向调度服务器请求查询服务器的地址和端口。调度服务器确认FW的设备信息无误后，向FW提供查询服务器的地址和端口。一般来说，FW将收到多个查询服务器的地址和端口。FW向所有查询服务器发起测速消息，并根据响应速度从中选出最优服务器，然后向该服务器请求URL分类信息。查询服务器反馈URL分类信息，FW将根据此分类信息继续进行URL过滤。 URL过滤配置思路 配置思路： 配置URL自定义分类。配置黑白名单配置URL过滤Profile配置安全策略提交编译 URL排除思路： 策略下配置的规则存在优先级关系。用户没有在安全策略中应用或应用错误。流量匹配了优先级更高的安全策略规则。URL过滤配置文件没有在安全策略中应用。修改后的URL过滤配置文件未提交编译。参考文档：华为HedEx文档