监控和日志是大型分布式系统的重要基础设施:监控可以帮助开发者查看系统的运行状态,而日志可以协助问题的排查和诊断。
云原生应用具有分布与动态的特性,而所有此类应用通常都会用到容器和无服务器函数等临时技术来予以部署。在管理这些云原生应用的时候,能够在任何给定的时间内提供端到端的可视性就显得尤为重要。与此同时,由于云原生系统具有海量的数据流和抽象的复杂性,因此我们必须建立强大的监控和日志记录,以管控各种不可预知的中断或宕机。
没有监控,就无法知晓服务的运行情况,也没有办法知道集群中有没有Down机、机器的CPU使用率和负载是否正常、网站的Traffic是否正常、服务的出错率是不是在可容忍范围内。而日志则详尽记录着系统运行情况,每一次Service的调用,每一次数据库的访问,都应该写进日志,特别是当系统出现问题时。
在开源社区中,最常用的监控方案就是Prometheus,甚至成为了开源社区的监控标准。首先,Prometheus是CNCF云原生社区的一个毕业项目,有越来越多的开源项目都以Prometheus为监控标准,类似我们常见的Spark、Tensorflow、Flink项目,都有标准的Prometheus采集接口。此外,一些常见的数据库、中间件项目也都有相应的Prometheus采集客户端,包括ETCD、Zookeeper、MySQL和PostgreSQL,它们都有相应的Prometheus接口或相应的exporter进行接口实现。
而在日志方案上,EFK(Elasticsearch、Fluentd、Kibana)是云原生领域最为主流的日志管理方案。它们在架构上可以处理大规模的数据分析,并能够实时地显示处理的结果。其中,Fluentd在每一个节点上面都会起相应的agent,然后这个agent会把数据汇集到一个Fluentd的一个Server,这个Server里面可以将数据离线到相应的类似像ElasticSearch,然后再通过kibana做展现,或者是离线到Influxdb,然后通过Grafana做展现。
基于此,为了让开发者们可以学习到更多干货,京东智联云开发者特别策划《六周玩转云原生》系列课程,让你迅速入门,持续充电。而在4月14日,《第四讲:走近监控与日志,云原生基石探秘》将隆重开讲!
本次公开课邀请到京东云与AI事业部云产品研发部架构师高云川老师,将和与会者们共同讨论在记录和监控云原生应用时各种值得借鉴和遵循的优秀实践与标准,分享京东智联云在云原生监控日志的落地实践。
高云川京东云与AI事业部云产品研发部架构师
8年的自动化运维平台研发经验,年加入京东云与AI,负责云监控体系建设,在监控、日志、事件等可观测性领域有丰富的实践经验。
在本次公开课中,高云川老师将从理解云原生下可观测性的意义入手,立足数据视角去理解Prometheus和Flunted的监控日志方案。通过京东智联云的云原生监控日志实践,探讨如何复用开源能力、满足业务需求。
学习要点:
1、云原生下的可观测性
2、基于Prometheus的监控方案介绍
3、基于EFK的日志方案介绍
4、京东智联云在云原生监控日志的落地实践
注意!!报名成功后,开课前会有短信/邮件提醒,所以报名时请填写正确的手机号码及邮箱地址哦!
课程安排如下
19:45—20:00学员提前入场20:00—20:45讲师上课20:45—21:00讲师互动答疑环节添加小助手,回复:京东公开课
进入公开课交流群