云纷在不断构建和完善安全运营服务的同时，与大量企业客户和合作伙伴进行了深入的访谈与交流。我们欣喜地发现，绝大多数中型企业对信息安全的重视程度不断提高，信息安全意识越来越强，花费重金投资购买安全产品对信息资产进行防御和保护已经成为越来越多企业的共识。

        然而，信息安全显然需要完全不同知识域的管理人员参与进来，这对于企业来说形成了一个全新的挑战。同时，如何把握好提高安全能力与投资回报率之间的平衡，对于企业的高层管理者来说，始终是一个现实的话题。正是对这两个几乎摆在每一个中型企业面前的问题进行了深入的思考与尝试，促成了我们其中一个核心理念—“安全运营可以从小处着手”。

        目前，一些全球领先的安全产品对于威胁的检测和防御能力已经非常强大，产品本身产生的信息量完整丰富。然而，硬币的另一面是，信息太过巨大纷繁复杂，以至于如果没有专职分析人员和专业工具，很多有价值的信息会被“噪音”掩盖而被忽略，使产品的使用价值大打折扣。所谓“安全运营可以从小处着手” ，就是我们完全可以针对企业中某些关键安全产品进行运营工作，从而使那些昂贵的安全产品发挥出真正的价值，哪怕只是一套端点安全产品，一台网络防火墙…

        Paloalto Networks NGFW作为Gartner魔力象限下一代防火墙领域的领跑者，在中国占有相当一部分的防火墙产品市场，同时也是我们大部分客户的选择。在安全运营工作中，我们需要通过对实时日志的监控和分析，来提高安全响应能力，同时作为事件取证溯源的方法和后期合规审计需要审查的重要内容之一。

      但是PA防火墙本身的日志有以下几点不足：

• 防火墙日志存储配额有限，不足以满足某些合规审计要求的存储时限

• 可视化仅限于展现日志摘要

• 历史日志查询响应时间较长

• 进行事件查询和分析相对繁琐

      传统用户为了合规需要，通常会采用syslog日志集中管理平台对安全设备日志进行存储，但是无法实现对历史日志的快速查询以及可视化展现，也无法实现对日志的自定义分类。

        我们采用一款主流的分布式搜索和数据分析引擎，具备高性能、易扩展、容错性强等特点，同时可以图像化搜索、分析和可视化存储的日志数据。一图胜过千万行日志，帮助我们运营团队高效地分析潜在威胁。不仅如此，我们还可以通过Vega语法来设计独属于自己的可视化图形。另外它还支持地理数据和地图进行关联、支持报表导出功能（PDF/PNG/CSV）、支持基于角色的访问控制来设置特定的仪表盘。

      在介绍数据的接入处理之前先简要说明下数据的处理架构。正如下图所示，所有日志原始数据通过syslog、agent等方式传送到数据采集引擎，数据采集引擎可以对原始数据进行格式化处理（分词、聚合等），输出到索引引擎。用户可以通过可视化模块提供的UI界面或者Dev工具来实时检索需要的日志数据。

      下面简单说明下数据的接入及处理过程，主要有以下三步：

      1）接入日志并对字段进行解析处理。我们在数据处理过程主要用到的核心组件是数据采集引擎，它支持丰富的插件类型，可以接入不同类型的日志。这里，我们是通过syslog来接入PA防火墙的日志。随后，通过csv、grok、mutate等插件来对日志数据进行格式化处理，对PA日志的字段进行解析处理。

      2）通过对原始日志进行解析后输出自己需要的字段，并可以根据自己的需求设定索引。我们根据PA日志的类型（配置日志、系统日志、威胁日志、流量日志）设定了4种类型的索引：panos-config、panos-system、panos-threat、panos-traffic。

      3）通过索引引擎查看工具，查看到解析后的数据如下图所示：

      1）在可视化模块中导入已经创建好的索引。

      2）解读关键字段日志群并进行聚合统计。我们可以在前端自由查询已经过解析后的日志，但这依然是一条条的日志记录。不过相关字段都已经被解析出来，我们需要对已经解读出关键有用字段的日志群进行聚合统计，给出分析所需要的第一步可视化效果。

      3）可视化处理。我们需要针对于已经接入和解析完的PA系统日志进行可视化处理，即对于特定字段进行统计和聚合，并且用图表的方式展现出来，可视化模块提供了比较丰富的图表模型库，我们可以选择合适的图表形式对我们所需要的数据字段进行处理：

      这里我们选择了比较适合展示时间区间的柱状图，来按照时间段来显示不同重要级别的系统日志，所以我们先要对X轴的字段先选择聚合方式后按照关键字段进行处理，因为Y轴已经默认为计数统计，所以只需要对每条柱状图进行分类即可。

      其他图表的可视化处理过程就不一一赘述了，最后得出的系统日志的仪表盘效果图如下，我们可以很明显的看到两个异常区间，一个是关于事件类别，一个是关于事件级别的：

      光标悬浮在异常范围之上即可查看具体的日志详情，该时间段内的日志数量、种类、级别：

      4）点击所选择时段的详细日志得到详细分类和日志明细条目。可视化模块支持对于所选取字段的钻取，下图是我们选取的Critial事件的趋势图：

       对一些安全或者系统产品进行安全日志监控和可视化处理，可以有效解决部分安全产品本身的功能与定位局限，同时可以高性价比地应对一些合规和审计要求。然而，站在安全运营整体工作的角度来看，这仅仅是云纷帮助企业构建安全运营服务体系最坚实和基础的第一环，下篇我们将会继续介绍在安全监控基础之上如何帮助用户高可视化聚焦威胁、快速响应并协助用户处理特定安全事件的一些经验。