SIEM on Amazon OpenSearch Service 架构深度解析一张图看懂 S3→Lambda→OpenSearch 日志流水线【免费下载链接】siem-on-amazon-opensearch-serviceA solution for collecting, correlating and visualizing multiple types of logs to help investigate security incidents.项目地址: https://gitcode.com/gh_mirrors/si/siem-on-amazon-opensearch-serviceSIEM on Amazon OpenSearch Service是 AWS 官方推出的一套开源安全日志分析解决方案核心价值在于把散落在多个 AWS 账户、多个区域的 CloudTrail、GuardDuty、VPC Flow Logs、WAF、Security Hub 等数十种安全日志通过一条S3→Lambda→OpenSearch的自动化日志流水线集中采集、标准化和关联分析帮助安全团队快速调查安全事件。整套方案借助 CloudFormation 或 CDK 约 30 分钟即可完成部署无需自建服务器非常适合希望以低成本搭建云上 SIEM 平台的中小团队。下面我们就用一张官方架构图把这条日志流水线的每一个环节拆开讲清楚。第一层多账户多区域的日志收集层流水线的起点是日志收集层。在业务账户BU/Develop/Products 账户中各 AWS 服务产生的日志通常有两条进入 S3 的路径直接导出CloudTrail、VPC Flow Logs、S3 访问日志等服务可配置直接写入各自的 S3 日志桶。流式接入通过 Amazon Kinesis Data Firehose 接收实时日志流再落盘到 S3适合吞吐量大、需要近实时的场景。这些分散的日志桶可以通过跨账户、跨区域的方式汇聚到日志账户下的集中式 S3 日志桶Centralized Log Bucket形成日志枢纽为后续统一处理奠定基础。第二层es-loader 核心处理层这是整条日志流水线的心脏也是本文的重点。S3 事件触发 Lambda当新日志文件被写入集中式 S3 日志桶时S3 的对象创建事件通知会自动触发名为aes-siem-es-loader的 Lambda 函数日志被实时拉入处理流程无需人工干预。日志类型识别与解析es-loader 首先根据日志文件在 S3 中的路径和文件名判断日志类型如cloudtrail、vpcflow、waf这一映射关系定义在配置文件中aws.ini 与可选的 user.ini。随后针对不同格式的日志——JSON、CSV、文本、XML、多行日志如 Windows 事件日志甚至 Parquet——分别调用对应的解析器进行拆解相关实现可参考 fileformat_base.py 及其子类。按 ECS 标准规范化字段为了让不同来源的日志可以放在一起查es-loader 会按照Elastic Common SchemaECS将原始字段统一映射为标准字段。例如把各种日志里的 IP 统一映射为source.ip、destination.ip把时间统一为timestamp。这一步是 SIEM 能够跨日志类型做关联分析的关键也是该项目区别于简单日志搬运工的核心所在。富集GeoIP 地理信息与 IoC 威胁情报除了解析es-loader 还会在写入前做两步增值处理GeoIP 富集通过 geodb.py 下载并使用 MaxMind GeoLite2 库City/ASN为日志中的 IP 补充国家、城市、经纬度、自治域信息让攻击来源一目了然。IoC 威胁情报通过 ioc.py 加载自定义的失陷指标TXT/STIX 2.x 格式以及 Tor、Feodo Tracker、AlienVault OTX 等情报源在写入时自动标记命中的恶意 IP 和域名帮助第一时间发现可疑行为。写入 OpenSearch Service处理完成的日志最终被批量写入Amazon OpenSearch Service并按日志类型自动创建索引索引可按天/月轮转。es-loader 的完整调度逻辑见 index.py。第三层可视化与告警层数据进入 OpenSearch 后就到了分析师最常接触的可视化与告警层OpenSearch Dashboards项目预置了覆盖 CloudTrail、GuardDuty、Security Hub、VPC Flow Logs、WAF、ELB、RDS 等数十个场景的仪表盘配置文件位于 saved_objects开箱即用。下面是两个代表性示例。告警闭环基于 OpenSearch 查询结果触发告警通过 Amazon SNS 以邮件、短信等方式通知安全团队形成检测—响应闭环。一条流水线几十种日志源得益于统一的流水线设计该项目支持非常广泛的日志类型包括CloudTrail、GuardDuty、Security Hub、Inspector、WAF、Network Firewall、VPC Flow Logs、CloudFront、Route 53 Resolver、ELB/ALB、RDSMySQL/PostgreSQL、ElastiCache、MSK、FSx、WorkSpaces以及 Linux/Windows 系统日志、Apache/NGINX 访问日志等完整清单可查看 suppoted_log_type.md。从部署到自定义30 分钟快速上手一键部署在支持的区域选择对应 CloudFormation 模板见 cloudformation_list.md一键创建堆栈约 30 分钟完成。需要 VPC 私有子网、多账户聚合等高级场景时可使用 CDK 方式部署具体步骤见 deployment.md。灵活配置想改索引轮转周期、日志路径、排除规则无需改代码只需按 aws.ini 的结构新建user.ini优先级更高以 Lambda Layer 方式挂载即可详细说明见 configure_siem.md。下图展示了通过 Parameter Store 配置日志排除规则的界面总结整体来看SIEM on Amazon OpenSearch Service的 S3→Lambda→OpenSearch 流水线用最少的组件完成了采集—解析—规范化—富集—存储—可视化的全链路S3 负责低成本汇聚Lambdaes-loader承担全部解析与增强逻辑OpenSearch 提供检索与可视化能力。对于正在 AWS 上寻找高性价比、可快速落地的安全日志分析方案这条流水线非常值得一试。【免费下载链接】siem-on-amazon-opensearch-serviceA solution for collecting, correlating and visualizing multiple types of logs to help investigate security incidents.项目地址: https://gitcode.com/gh_mirrors/si/siem-on-amazon-opensearch-service创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 SIEM on Amazon OpenSearch Service 架构深度解析：一张图看懂 S3→Lambda→OpenSearch 日志流水线
SIEM on Amazon OpenSearch Service 架构深度解析一张图看懂 S3→Lambda→OpenSearch 日志流水线【免费下载链接】siem-on-amazon-opensearch-serviceA solution for collecting, correlating and visualizing multiple types of logs to help investigate security incidents.项目地址: https://gitcode.com/gh_mirrors/si/siem-on-amazon-opensearch-serviceSIEM on Amazon OpenSearch Service是 AWS 官方推出的一套开源安全日志分析解决方案核心价值在于把散落在多个 AWS 账户、多个区域的 CloudTrail、GuardDuty、VPC Flow Logs、WAF、Security Hub 等数十种安全日志通过一条S3→Lambda→OpenSearch的自动化日志流水线集中采集、标准化和关联分析帮助安全团队快速调查安全事件。整套方案借助 CloudFormation 或 CDK 约 30 分钟即可完成部署无需自建服务器非常适合希望以低成本搭建云上 SIEM 平台的中小团队。下面我们就用一张官方架构图把这条日志流水线的每一个环节拆开讲清楚。第一层多账户多区域的日志收集层流水线的起点是日志收集层。在业务账户BU/Develop/Products 账户中各 AWS 服务产生的日志通常有两条进入 S3 的路径直接导出CloudTrail、VPC Flow Logs、S3 访问日志等服务可配置直接写入各自的 S3 日志桶。流式接入通过 Amazon Kinesis Data Firehose 接收实时日志流再落盘到 S3适合吞吐量大、需要近实时的场景。这些分散的日志桶可以通过跨账户、跨区域的方式汇聚到日志账户下的集中式 S3 日志桶Centralized Log Bucket形成日志枢纽为后续统一处理奠定基础。第二层es-loader 核心处理层这是整条日志流水线的心脏也是本文的重点。S3 事件触发 Lambda当新日志文件被写入集中式 S3 日志桶时S3 的对象创建事件通知会自动触发名为aes-siem-es-loader的 Lambda 函数日志被实时拉入处理流程无需人工干预。日志类型识别与解析es-loader 首先根据日志文件在 S3 中的路径和文件名判断日志类型如cloudtrail、vpcflow、waf这一映射关系定义在配置文件中aws.ini 与可选的 user.ini。随后针对不同格式的日志——JSON、CSV、文本、XML、多行日志如 Windows 事件日志甚至 Parquet——分别调用对应的解析器进行拆解相关实现可参考 fileformat_base.py 及其子类。按 ECS 标准规范化字段为了让不同来源的日志可以放在一起查es-loader 会按照Elastic Common SchemaECS将原始字段统一映射为标准字段。例如把各种日志里的 IP 统一映射为source.ip、destination.ip把时间统一为timestamp。这一步是 SIEM 能够跨日志类型做关联分析的关键也是该项目区别于简单日志搬运工的核心所在。富集GeoIP 地理信息与 IoC 威胁情报除了解析es-loader 还会在写入前做两步增值处理GeoIP 富集通过 geodb.py 下载并使用 MaxMind GeoLite2 库City/ASN为日志中的 IP 补充国家、城市、经纬度、自治域信息让攻击来源一目了然。IoC 威胁情报通过 ioc.py 加载自定义的失陷指标TXT/STIX 2.x 格式以及 Tor、Feodo Tracker、AlienVault OTX 等情报源在写入时自动标记命中的恶意 IP 和域名帮助第一时间发现可疑行为。写入 OpenSearch Service处理完成的日志最终被批量写入Amazon OpenSearch Service并按日志类型自动创建索引索引可按天/月轮转。es-loader 的完整调度逻辑见 index.py。第三层可视化与告警层数据进入 OpenSearch 后就到了分析师最常接触的可视化与告警层OpenSearch Dashboards项目预置了覆盖 CloudTrail、GuardDuty、Security Hub、VPC Flow Logs、WAF、ELB、RDS 等数十个场景的仪表盘配置文件位于 saved_objects开箱即用。下面是两个代表性示例。告警闭环基于 OpenSearch 查询结果触发告警通过 Amazon SNS 以邮件、短信等方式通知安全团队形成检测—响应闭环。一条流水线几十种日志源得益于统一的流水线设计该项目支持非常广泛的日志类型包括CloudTrail、GuardDuty、Security Hub、Inspector、WAF、Network Firewall、VPC Flow Logs、CloudFront、Route 53 Resolver、ELB/ALB、RDSMySQL/PostgreSQL、ElastiCache、MSK、FSx、WorkSpaces以及 Linux/Windows 系统日志、Apache/NGINX 访问日志等完整清单可查看 suppoted_log_type.md。从部署到自定义30 分钟快速上手一键部署在支持的区域选择对应 CloudFormation 模板见 cloudformation_list.md一键创建堆栈约 30 分钟完成。需要 VPC 私有子网、多账户聚合等高级场景时可使用 CDK 方式部署具体步骤见 deployment.md。灵活配置想改索引轮转周期、日志路径、排除规则无需改代码只需按 aws.ini 的结构新建user.ini优先级更高以 Lambda Layer 方式挂载即可详细说明见 configure_siem.md。下图展示了通过 Parameter Store 配置日志排除规则的界面总结整体来看SIEM on Amazon OpenSearch Service的 S3→Lambda→OpenSearch 流水线用最少的组件完成了采集—解析—规范化—富集—存储—可视化的全链路S3 负责低成本汇聚Lambdaes-loader承担全部解析与增强逻辑OpenSearch 提供检索与可视化能力。对于正在 AWS 上寻找高性价比、可快速落地的安全日志分析方案这条流水线非常值得一试。【免费下载链接】siem-on-amazon-opensearch-serviceA solution for collecting, correlating and visualizing multiple types of logs to help investigate security incidents.项目地址: https://gitcode.com/gh_mirrors/si/siem-on-amazon-opensearch-service创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考