某保险集团ELK案例
发布时间:2022-02-17 16:53:33

1客户面临的问题

Ø  开发人员不能登录线上服务器查看详细日志

Ø  各个系统都有日志,日志数据分散,查找困难并且效率低下

Ø  磁盘空间不足删除了日志

Ø  没有实时监控、分析

Ø  无法提供全文搜索

Ø  等级保护的需要

Ø  ....


2建设方案

      2.1  项目方案

       Elastic Stack是一个端到端的产品堆栈,核心产品包括:ElasticsearchLogstashKibanaBeats Elastic Stack能够安全可靠地获取任何来源、任何格式的数据,然后实时地对数据进行搜索、分析和可视化

       2.2  项目架构

某保险集团ELK案例(图1)

方案优势:

1. 扩展性

随着使用量的增加,Elasticsearch 可以进行扩展。添加更多数据和更多用例,当遇到资源不足问题时,只需向集群中再添加一个节点以提高容量和可靠性即可。而且当往集群中添加更多节点时,集群会自动分配副本分片,可以从容应对未来变化。

2. 安全性

通过流量加密,以及使用 SSL/TLS、节点身份验证证书等等,可以有效阻止针对 Elasticsearch 节点数据的网络攻击,并且可以对于权限的控制可以细化到文档和字段级别。

3. 高可用性

天生就支持分布式部署,通过集群部署和副本机制可以提高系统的可用性;并且引用了kafka作为缓存队列,进一步的保障了集群的稳定和数据的完整。

4. 便捷性

Elastic Stack 提供全面且强大的 REST API UI,使管理和使用自己的集群非常简单。

5. 高效性

ES底层采用Lucene作为搜索引擎,并在此之上做了多重优化,保证了用户对数据查询数据的需求;也可用于复杂数据分析,海量数据的近实时处理等。

6. 相关性

ES内部提供了完善的评分机制,会根据分词出现的频次等信息对文档进行相关性排序,保证相关性越高的文档排序越靠前。另外还提供了包括模糊查询,前缀查询,通配符查询等在内的多种查询手段,帮助用户快速检索。

7. 全面性

beats集合了多种单一用途数据采集器,可以采集日志文件、指标、网络数据、审计数据和windows事件日志等全品类数据;Logstash 采用可插拔框架,拥有 200 多个插件。可以将不同的数据源进行多功能的解析和丰富。

 

3 、客户收益

Ø  覆盖全集团70%业务日志

Ø  平均每日入库数据超过4TB

Ø  数据保留1年,保证可追溯

Ø  保证核心业务数据查询返回毫秒级别,并保证平台稳定运行

Ø保障业务的7*24的高可用性,保障用户体验



咨询电话
400-068-1180