之前我们给大家简要介绍了UEBA的主要内容（错过的童鞋可以戳右边UEBA用户实体行为分析，安全可视性的下一步>），相信大家对UEBA也有了大致的了解。本期，我们接着上次的话题，继续为大家带来关于UEBA的应用与实践。

本次异常检测Demo针对的是某客户一段时间内总计1114066条Wondows文件服务器的访问数据。本次Demo旨在通过用户、行为、时间为主，对象文件和Event code为辅，分析用户行为的异常。按小时、用户、行为、Event code、对象文件为Group By条件整合数据。

• _source.winlog.event_data.SubjectUserSid

• _source.event.action

• _source.event.code

• _source.winlog.event_data.RelativeTargetName

• @timestamp

One-hot Encoding

One-hot Encoding是常用的针对Categorical Features的编译方法，因为这种方法不会假设类别的排序，所以当一个类别没有大小之分时，这种方法会有比较好的效果。同时，这种方法可以很好地保存数据中的信息。

由于数据量过多，无法对所有的Categorical Features都做One-hot Encoding，否则会导致维度过高，计算量过大。即使牺牲少部分信息，使用One-hot Encoding的优化版Binary Encoding，内存仍然无法承担计算量。因此，我们可以对主要特征Action使用One-hot Encoding，其余特征使用Label Encoding进行编译。

Label Encoding

Label Encoding给每个类别分配一个数字，虽然这种方法会自动假设类别是有顺序的，但是这种方法胜在简单，而且不会增加数据维度，对有顺序的数据友好。

AutoEncoder

AutoEncoder是一种自监督（self-supervised）神经网络算法，通过把数据降维、学习数据的规律，再对数据进行重构（Reconstruction）。Reconstruction是Autoencoder学习数据规律去除噪音后重构，所以Reconstruction可以视为是Autoencoder对数据编译后得到的结果。

通过下面两图我们可以观察到，整体的MSE在移除“异常值”后缺失大幅下降了，因此，在本阶段，我们假设模型的预测是合理的，并使用Superset对结果可视化，人工评估结果的合理性。

从下图中可以观察到本次Demo的数据包括了137位用户，在一百多万数据中，检测到了2.66万异常值，占比约2.4%。值得注意的是，从 Reconstruction Boxplot 中可以看出正常值（0）和异常值（1）有非常明显的区别，异常值的Reconstruction全部高于正常值。因为Reconstruction是Autoencoder学习数据规律去除噪音后重构，所以Reconstruction可以视为是Autoencoder对数据编译后得到的结果。所以推测模型以Reconstruction值的大小判断是否异常。

同时，除了“详细的文件共享”外的所有Action都被检测为异常。在观察Action的分布后发现，百分之98%的数据都由“详细的文件共享”组成，这样的发现让人不禁怀疑是否是数据不平衡导致结果偏移。但是在一百多万条“详细的文件共享”数据中，仍然有部分被检测为“异常值”。

再进一步观察数据发现，正常值和异常值的Reconstruction的分布明显不同。与从总体数据中观察到的一样，Reconstruction值高的被判断为异常值。

而且从平均Action的数量中可以看出，在每小时中，“详细的文件共享”这个动作的平均生成数量总体更多。也就是说，如果在一个小时内如果一个用户对同一对象生成了很多“详细的文件共享”，那么这些数据更容易被判断为异常。

这点在其他Action中也有体现，至于平均Action数量小但仍然被判断为异常的都有高Reconstruction。

• 经过分析得出同一用户同一小时对同一文件对象进行同一动作过多更容易被判断为异常值

• 在Reconstruction中的体现为值越大越异常

• 由于Label Encoding假设了数据的排序性，但是数据本身不具备排序性，会导致结果产生误差

• 目前模型基于对训练数据进行训练，再对训练数据进行异常检测，结果可能出现偏差