近期的几个计划(2018年9-10月)
公众号:杨建荣的学习笔记 · 作者:杨建荣 · 发布:2018-09-21 00:00:51 · 原文链接
这是学习笔记的第 1750 篇文章
最近在做一些项目的对接,已经基本完成了基础运维的一些功能和需求,比如数据库实例部署,权限开通,新增账号等,在这个基础上完成了SQL审核的一些改进之后,也算是一个好的开始,接下来还有一系列的事情需要尽快搞定。
这些要推进的事情到了现在这个阶段,其实就可以规划起来了,而不是简单的提概念。相比来说,在目前的阶段,我需要可以在下面的几个方面做一些改进。
数据库高可用
主要为MySQL MHA+Consul的高可用方案,这种方案可以使用已有的高可用
架构,而对于应用访问层来说更加健壮,希望是做得平滑的切换,或者说跨机房的切换,如果我们允许分钟级的准备和业务中断,我们可以平滑的支持,不需要应用调整IP或者其他的访问配置。
第二种方案为MGR+consul的高可用方案,对于这个层面来说,可以把需要拆分为两类,一类就是MGR的使用和推广,一类是MGR和consul的结合。MGR的方案可以考虑设置运维平台的cmdb为MGR方案,或者是测试环境我们直接对接为MGR的环境。consul在这里的方案如何组合是关键,即我们需要在MGR这一层做一些改进,在MGR节点间通过轮询或者API方式来触发consul的网络切换。
第三种方案是MHA的自动化部署和管理,MHA方案已经足够成熟和稳定,对于集群节点的切换还是高可用管理,其实是急需自动化的推动的。
日志模块
对于系统日志和数据库错误日志,可以使用ES来辅助,通过ES的API可以很灵活的完成数据关键字的查询工作。
对于MySQL层面的慢日志,则会考虑使用基于pt-query-digest的慢日志的集中式管理来完成。即慢日志在一个统一的服务器或者环境目录下,我们可以通过数据或者文件的同步形式,把文件推送到统一的目录下,可以集中对于慢日志进行解析。
当然这个部分的一个亮点即是慢日志的解析和汇总,能够生成相应的报告最好了。
巡检模块
巡检模块是本次建设的一个重点,期望是通过巡检模块的建设,完成巡检潜在问题和已有问题的抽取,在这个基础上有两个扩展点,一个是对于任务调度的落地实践,能够通过巡检来反复验证和调试,保证任务调度的模块功能可控稳定,因为在这里的初步设定就是巡检任务的查询可以反复执行,而且即使反复执行影响范围也会最低。
这个部分需要对接监控系统得到部分的监控分析数据,然后通过巡检报告的形式展示出来,这部分的内容也可以考虑借助开源工具的方式生成巡检报告。比如有两个巡检项目,天兔Lepus和MySQL_Watcher,天兔是一个相对完整的开源产品,可以借鉴慢日志分析的部分实现,而对于巡检报告来说,可以借鉴MySQL_Watcher来完善。
工单管理模块
工单的建设是整个业务对接的关键,我们可以在这个阶段完成工单信息的管理和数据挖掘工作,比如开发工单看板,基于工单数据来做一些分析和说明,比如哪个部分的工单需求最多,哪一类需求最多,业务操作的效率情况等。
其中最难的是对于资源的申请部分,需要对接多个接口。
相关链接:
