LogAI：专为日志分析和智能而设计的开源库

LogAI 是一个免费的日志分析和智能库，支持各种日志分析和智能任务。它与多种日志格式兼容，并具有交互式图形用户界面。LogAI 为流行的统计、时间序列和深度学习模型提供了统一的模型接口，便于对日志异常检测的深度学习算法进行基准测试。

计算机系统生成的日志包含帮助开发人员理解系统行为和识别问题的重要信息。传统上，日志分析是手动完成的，但基于人工智能的日志分析自动化了日志解析、摘要、聚类和异常检测等任务，使这一过程更加高效。

项目地址：https://github.com/salesforce/logai?ref=blog.salesforceairesearch.com

学术界和工业界在日志分析方面有不同的需求。例如，机器学习研究人员需要快速将实验与公共日志数据集进行对比，并重现其他研究小组的结果，以开发新的日志分析算法。工业数据科学家需要在自己的日志数据上运行现有的日志分析算法，并选择最佳的算法和配置组合作为日志分析解决方案。

不幸的是，目前没有现有的开源库能够满足所有这些需求。因此，LogAI 被引入以满足这些需求，并更好地进行各种学术和工业用例的日志分析。

缺乏全面的基于人工智能的日志分析在日志管理平台上创建了统一分析的挑战，因为需要一个统一的日志数据模型、预处理的冗余和工作流管理机制。重现实验结果很困难，需要为不同的日志格式和模式定制分析工具。不同的日志分析算法实现在单独的流水线中，增加了实验和基准测试管理的复杂性。

LogAI 包括两个主要组件，即 LogAI 核心库和 LogAI 图形用户界面。LogAI 图形用户界面模块允许用户连接到核心库中的日志分析应用程序，并通过图形用户界面交互可视化分析结果。

另一方面，LogAI 核心库包括四个不同的层次:

- 数据层:LogAI 的数据加载器和由 OpenTelemetry 定义的统一日志数据模型。它还提供各种数据加载器，将原始日志数据转换为标准格式的 LogRecordObjects。

- 预处理层:LogAI 使用预处理器和分区器进行日志清洗和分区。预处理器提取实体，并将记录分成非结构化日志行和结构化日志属性，而分区器将日志分组成机器学习模型的事件。可针对特定的开放日志数据集使用自定义的预处理器和分区器，并可以扩展以支持其他日志格式。

- 信息提取层:LogAI 将日志记录转换为机器学习向量。它包括日志解析器、日志向量化器、分类编码器和特征提取器等四个组件。

- 分析层:LogAI 包含用于进行分析任务的模块，并为多种算法提供统一接口。

LogAI 使用卷积神经网络 （CNN）、长短期记忆网络 (LSTM) 和 Transformer 等深度学习模型进行日志异常检测，并可以在流行的日志数据集上进行基准测试。结果显示，它的性能与 deep-loglizer 相当或更好，其中使用有监督的双向 LSTM 模型提供最佳性能。