老产品 新活力，浅谈数据库审计新特性-k8凯发游戏

数据库安全监控与审计产品（dbaudit），是目前安华金和产品演进处在最高级别的产品，也即目前公司全线产品中成熟度最高的产品。近半年多来，直接来自客户现场的功能需求逐渐进入到产品演进进度中，丰富了审计产品的特性，给客户带来新的使用价值，也为这款成熟度最高的产品不断注入新的活力。

一、全新的应用审计视角

传统产品，以“数据被谁访问”的视角来反向溯源，审计出来的数据都是以数据库为单位，基于sql语句、风险、数据库会话三维一体视角奠定了dbaudit的核心功能框架，从风险的产生到sql语句模板、sql语句、数据库会话生命周期的细粒度多访问分析，这是dbaudit v3.2.4.4以前版本的杀手锏。随着安华金和数据安全治理理念逐步被客户肯定、被市场所认可，“谁访问了哪些数据”成为一个全新的视角，这种以应用发起者为出发点，通过哪些应用业务的请求，最终访问了哪些数据，dbaudit全新应用关联审计顺势而出。

新的应用审计和统计，构建了“应用-应用模块-应用行为-应用请求”4级应用框架结构，代表4层不同应用定义：

一、应用请求：访问源对某个指定的url发起访问请求的流水记录；

二、应用行为：针对某类相同和相似的应用请求，去除参数化的url模板（类似于sql语句模板概念）；

三、应用模块：多个应用行为的组合，归属于一组功能模块的集合，对应应用服务器的功能菜单；

四、应用：以应用服务器ip 应用服务器端口 应用工程名定义的一个应用系统。

全新的框架设计充分考虑到多个应用部署在一个应用服务器的集中部署方式，以及中大型应用系统分布在多个应用服务器上的集群架构，以应对多样化的应用业务部署场景。一旦应用的4级结构建立，即可以提供完整的基于应用访问视角的综合性统计数据呈现和正向追溯能力：

a）应用访问热度分析：接入dbaudit的多个应用根据访问频次呈现应用访问热度top；

b）应用模块访问热度分析：不同应用的应用模块根据访问频次呈现应用模块访问热度top；

c）应用访问源热度分析：以“客户端ip 应用用户”为组合，根据对应用访问频次呈现访问源热度top。

同“数据被谁访问”以数据库为单位提供全局和单库视角一样，应用审计同样提供了以应用为单位的全局和单应用视角分析，既可基于全局做整体查看，也可以针对某个应用做专项分析。

从应用行为层次，提供“应用行为-应用请求流水-应用请求详情”的正向追踪以及“应用行为-访问源”的反向追溯能力；从应用访问层次，提供“应用请求-sql流水-sql详情”和“应用请求-应用会话-会话下应用请求流水-sql流水”两条下钻分析路径。

老的应用会话统计分析能力在应用审计框架建立后得到更大价值体现：应用会话将多个应用请求串接起来，使得“本次会话除了访问这些地址还干了些什么”的连锁行为分析得以落地。

二、从对象统计到敏感数据溯源

以往我们的风险规则到sql语句和语句模板层级，而有些场景下用户更关注数据库中敏感对象的访问行为，这些敏感对象可能是数据库、表，甚至字段（列），这对审计粒度来说提出更高挑战。

通过全新的数据结构设计和数据处理逻辑设计，dbaudit提供了基于数据库表级别的对象统计和分析能力。在新的数据结构设计中，充分考虑到不同数据库中表对象属主的定义范围差异，如oracle和sql server有schema的概念，oracle的instance，mysql的库概念等，我们设计了目前相对覆盖元素较多的一种数据库表对象owner机制，即以“dbname schema@(dbip port instance)”多个字段的组合方式，基本覆盖常用关系型数据库形态。同时，针对oracle rac集群和mysql proxy类集群的应用场景，将多个数据库ip和端口组合成一个数据库来分析，避免因过于细致的属主划分粒度带来同一表对象统计数据的分散。

在指定的属主范围内，将动态请求而产生的sql语句以表对象为单位统计，依托访问表对象时的sql语句解析，提供了“表对象-操作类型-sql语句流水”和“表对象-语句模板-sql语句流水”的两种钻取分析路径。

对解析出的表根据数据分析可标记为敏感表对象，可以对一批敏感表对象做访问行为的轨迹分析，该表对象被哪个访问源（客户端ip、数据库用户）访问、哪个客户端工具所访问以及整体的访问频度分布情况，快速定位该敏感对象从哪些位置进行访问。

从操作类型角度，表对象经常会以什么样的方式被访问，访问频次怎样；从语句模板角度，表对象经常会被什么样的语句模板来访问，做到这一层级，思路再往前一步，假定该表对象出现了新的访问类型（如经常select的表对象突然出现了delete的操作行为），或者表对象出现了一种新的语句访问模型（如出现了一种新的语句模板），是否疑似为非正常访问动作？当功能演进到该阶段，是否像有些行为模型的分析？是的，这就是我们正在完善的审计系统访问行为模型。

三、学习期行为模型

在数据库防火墙产品中，引入学习期概念。也构建了全新的学习期，针对每个被审计数据库分别设置学习期，而且利用系统一贯擅长的数据统计分析能力，参与建模的元素更广、行为模型的范围更大，以此来为用户的安全审计提供更全面的模型参考。比如以敏感对象表元素频度访问、敏感对象的操作类型、访问源的行为、去参数化的语句模板、去参数化的应用url行为等，通过一定组合方式，形成多样的数据分析模型。

上文提到的敏感对象表经常被访问的访问源、敏感对象表日常被访问的频次和时间周期分布情况、敏感对象被访问的操作类型情况，这些都将成为行为模型的分析元素。在引入以应用为视角的审计后，进一步丰富了审计的输出元素：

图1：以数据库为切入点和以应用为切入点各自审计的元素组合

在一些特点的生产系统，进入业务稳定期后，功能模块相对稳定，具体到每个访问行为，其产生的sql语句模板也相对固定。反之，一个sql语句模板被业务系统请求的来源也相对固定，可见，在一个稳定运行的业务系统中，应用访问行为与sql语句模板存在相对稳定的对应关系；无论应用访问行为出现了新的语句模板，或者产生的语句模板出现了新的应用请求来源，都可能成为可疑的访问行为。比较典型的应用场景：sql注入伪装成正常的数据访问，但在行为模型中发现业务系统应用请求中出现了新的语句，产生疑似非法操作的告警，从根本上解决sql注入的风险。

dbaudit的数据分析能力除了在审计系统上得到应用外，还将为防护类产品提供策略设置参考，如根据针对敏感对象设置访问来源、操作行为、应用url、时间周期等元素设置防火墙的拦截策略，针对敏感对象梳理结果设置动态访问脱敏策略，这些将在新的集群管理系统中被串接起来，多个产品的联合形成从敏感数据的识别、分析、建模、到安全使用防护的全过程；这些也将成为ueba模型的数据来源，以及数据资产梳理系统（dbcarding）数据资产动态梳理的来源。

四、大数据审计方向展望

传统的关系型，针对大数据审计开始出现“水土不服”，在一个个针对大数据审计的项目落地过程中我们总结发现：

1.以操作类型为视角的统计很多场景不再实用，如hdfs下的数据库语句实际上是对文件系统的操作命令ls、cp等；

2.由于大数据存储节点众多，故数据访问端口范围的不确定性也随之而来，传统对ip 端口的数据模型已不再适用，大数据审计一般都采用动态的端口范围，而且范围较大，如某项目现场的hive端口数量30 ；

3.语句模板难以用sql方式翻译，在关系型中安华金和的语句模板机制极大的减少了语句记录量，业务审计中以模板方式也极大的提高了统计和分析的价值，但大数据应用下这种方式将难以继续这种业务呈现；

4.业务化语言无法匹配，关系型数据库的业务化语言翻译不再适用于大数据时代。 

这里提到的“大数据审计”有两层含义：

①对使用大数据作为业务数据库存储的这类“数据库”审计；

②对大量业务产生的审计数据以大数据方式存储。

前者的本质在于数据库的审计，后者的核心在于审计数据结果的处理。

在大数据使用愈发普及的市场背景下，以上两个方面常常同时出现：为了更好的服务于业务，大数据形态不断扩展和业务逐渐成熟，大数据审计成为刚需；大量的审计数据结果需要更大的存储空间和更庞大的后续统计分析，而这正是大数据擅长的地方，所以演变成了“用一个大数据应用（dbaudit）来审计业务系统的大数据”。

在完成对大数据审计的协议解析后，如何呈现更合理的审计结果和统计分析？安华金和的思路是：基于现有dbaudit的语句、会话、风险三大视角基础框架，基于大数据形态做针对性的审计数据结果呈现和风险策略告警能力，dbaudit新的版本将会带来耳目一新的价值体现。

上面提到，被审计数据库节点的极大增长，以及审计结果数据量的猛增，审计系统本身也将步入大数据化。目前安华金和的审计结果大数据形态大致如下：

图2：大数据架构图

这将会在后续的产品演进中逐步落地。

对大数据的审计支持能力，dbaudit在国内厂商中一马当先，目前支持的大数据形态有：hive、hbase、sentry、hdfs、impala、elasticsearch，以及mangodb、redis等非关系型数据库。

以某省级电信运营商项目为例，安华金和对需求响应和功能快速交付得到客户的极大认可。运营商要求友商提供自己所提供系统的elasticsearch大数据库的审计，友商反馈不具备审计能力，且表示国内尚没有产品可以做到。运营商辗转找到安华金和，我们的工程师三周完成了对友商这套应用系统的大数据审计适配，而且克服了友商“网络环境故障”、“切换加密方式”等额外增加的困难，这体现了安华一切以业务场景需要和客户满意为宗旨，深厚技术能力得到证明。

结束语：作为数据安全领域的领跑者，我们将继续深耕，不断挖掘产品新的价值点，正是凭着这种敢于向技术壁垒发起攻坚、敢于突破自我的精神，才能打磨出具有领先性和前瞻性的成熟产品。