微服务监控与可观测性：NetCoreMicroservicesSample集成Kibana完整指南
【免费下载链接】NetCoreMicroservicesSampleSample using micro services in .NET Core 3.1 Focusing on clean code项目地址: https://gitcode.com/gh_mirrors/ne/NetCoreMicroservicesSample
NetCoreMicroservicesSample是一个基于.NET Core 3.1构建的微服务示例项目，专注于清晰代码设计。本文将详细介绍如何为该项目集成Kibana实现强大的监控与可观测性，帮助开发者快速定位问题、优化性能。
微服务架构与监控挑战 📊
在现代微服务架构中，随着服务数量的增长，系统复杂度呈指数级上升。传统的单体应用监控方式已无法满足需求，需要更全面的可观测性解决方案。
图：NetCoreMicroservicesSample项目的微服务架构示意图，展示了各服务间的交互关系
该项目采用了典型的微服务架构，包含以下核心组件：
- ApiGateway：基于Ocelot的API网关
- MoviesService：电影管理服务
- ReviewsService：评论管理服务
- UsersService：用户管理服务
- 基础设施层：包含日志、消息队列、事件存储等公共组件
为什么选择ELK Stack进行监控？
ELK Stack（Elasticsearch, Logstash, Kibana）是目前最流行的日志管理和分析解决方案之一，具有以下优势：
- 集中式日志收集：统一管理多个微服务的日志
- 强大的搜索能力：快速定位特定日志条目
- 可视化分析：通过Kibana创建直观的仪表盘
- 扩展性：轻松应对日志量增长
NetCoreMicroservicesSample已内置Serilog日志框架，可直接对接ELK Stack，为集成Kibana奠定了基础。
准备工作：环境与依赖项
在开始集成Kibana之前，请确保您的开发环境满足以下要求：
- Docker和Docker Compose：用于运行ELK Stack容器
- .NET Core 3.1 SDK：用于构建和运行微服务
- Git：用于克隆项目代码
首先，克隆项目仓库：
git clone https://gitcode.com/gh_mirrors/ne/NetCoreMicroservicesSample步骤1：配置Elasticsearch连接
项目已预设Elasticsearch配置，位于各服务的appsettings.json文件中。以MoviesService为例：
"ElasticConfiguration": { "Uri": "http://elasticsearch:9200" }, "Serilog": { "WriteTo": [ { "Name": "Elasticsearch", "Args": { "nodeUris": "http://elasticsearch:9200", "batchPostingLimit": 50, "period": 2000, "inlineFields": true, "restrictedToMinimumLevel": "Warning", "autoRegisterTemplate": true, "autoRegisterTemplateVersion": "ESv7" } } ] }上述配置位于 Src/MoviesService/appsettings.json 文件中，定义了Serilog如何将日志发送到Elasticsearch。
步骤2：添加ELK Stack到Docker Compose
为了简化部署，我们将ELK Stack添加到项目的Docker Compose配置中。创建或修改docker-compose.yml文件，添加以下服务定义：
version: '3.4' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.14.0 environment: - discovery.type=single-node - xpack.security.enabled=false ports: - "9200:9200" networks: - microservices-network kibana: image: docker.elastic.co/kibana/kibana:7.14.0 environment: - ELASTICSEARCH_HOSTS=http://elasticsearch:9200 ports: - "5601:5601" depends_on: - elasticsearch networks: - microservices-network步骤3：配置日志收集与结构化
项目使用Serilog作为日志框架，通过 Infrastructure/Logging/LoggingExtensions.cs 提供了统一的日志配置：
public static Serilog.Core.Logger AddLogging(IConfiguration Configuration) { var logger = new LoggerConfiguration() .Enrich.FromLogContext() .Enrich.WithExceptionDetails() .Enrich.WithCorrelationIdHeader() .Filter.ByExcluding(c => c.Properties.Any(p => p.Value.ToString().Contains("swagger"))) .ReadFrom.Configuration(Configuration) .CreateLogger(); return logger; }这段代码实现了以下关键功能：
- 从日志上下文丰富日志信息
- 添加异常详情
- 生成关联ID用于追踪分布式请求
- 过滤掉Swagger相关的日志
- 从配置文件读取日志设置
步骤4：启动服务并验证日志流
使用以下命令启动所有服务：
docker-compose up -d服务启动后，可以通过访问以下地址验证各组件是否正常运行：
- Elasticsearch: http://localhost:9200
- Kibana: http://localhost:5601
步骤5：在Kibana中创建索引模式
首次访问Kibana时，需要创建索引模式以可视化日志数据：
- 打开Kibana控制台（http://localhost:5601）
- 导航到Management > Stack Management > Index Patterns
- 点击Create index pattern
- 输入
serilog-*作为索引模式名称（与Serilog配置匹配） - 选择
@timestamp作为时间过滤器字段 - 点击Create index pattern
步骤6：创建微服务监控仪表盘
Kibana的强大之处在于其可视化能力。以下是创建基本监控仪表盘的步骤：
- 导航到Analytics > Discover，验证日志数据是否正常显示
- 点击Save保存当前搜索条件
- 导航到Dashboard > Create dashboard
- 添加以下常用可视化组件：
- 日志数量时间趋势图
- 按服务名称分组的日志数量
- 按日志级别分布的饼图
- 错误日志表格
高级监控：分布式追踪与性能分析
NetCoreMicroservicesSample还集成了Elastic APM（应用性能监控），配置位于各服务的appsettings.json中：
"ElasticApm": { "ServerUrls": "http://apm:8200" }通过Elastic APM，可以实现：
- 分布式请求追踪
- 服务性能指标收集
- 错误率监控
- 数据库查询性能分析
要启用APM，只需在Docker Compose中添加APM服务，并在各微服务中配置相应的环境变量。
常见问题与解决方案
问题1：Kibana中看不到日志数据
解决方案：
- 检查Elasticsearch是否正常运行：
curl http://localhost:9200 - 查看微服务日志：
docker-compose logs movies_service - 验证Serilog配置是否正确指向Elasticsearch
问题2：日志量过大导致性能问题
解决方案：
- 调整日志级别，只记录重要信息
- 配置日志轮转策略
- 在 Infrastructure/Logging/LoggingExtensions.cs 中添加更精细的日志过滤规则
问题3：分布式追踪无法正常工作
解决方案：
- 确保所有微服务都配置了相同的Elastic APM服务器地址
- 检查服务之间的调用是否正确传递了追踪上下文
- 验证CorrelationId是否正确生成和传播
总结：微服务可观测性最佳实践
通过集成Kibana，NetCoreMicroservicesSample实现了全面的可观测性，包括：
- 集中式日志收集与分析
- 实时性能监控
- 分布式追踪
- 自定义可视化仪表盘
这些工具和实践不仅帮助开发者快速定位和解决问题，还能提供系统运行的整体视图，为架构优化和性能调优提供数据支持。
建议在实际项目中进一步扩展这些功能，例如添加告警机制、自定义业务指标监控，以及定期审查和优化日志策略，以确保微服务架构的稳定运行和持续改进。
【免费下载链接】NetCoreMicroservicesSampleSample using micro services in .NET Core 3.1 Focusing on clean code项目地址: https://gitcode.com/gh_mirrors/ne/NetCoreMicroservicesSample
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考