DevOPS自动化运维体系建设

前言

本文非原创，参考互联网上的知识整理后分享给大家，如有侵权请联系我删除，谢谢。

自动化运维是指将日常运维中大量的重复性工作，小到简单的日常检查、配置变更和软件安装，大到整个变更流程的组织调度，由过去的手工执行转为自动化操作，从而减少乃至消除运维中的延迟，实现“零延时”的运维。在上百台服务器及多种业务架构中，自动化运维尤为重要，成为运维岗位主要核心竞争力！

IT自动化的实现方法，通常有两种方式。第一种是利用Devops工具链，打通开源链路；第二种就是自研发，企业根据自身业务设置自动化标准。方式一就是可以快速投产，直接拿来用，实际上需要结合多个工具才可以实现应用，方式二需要成本，也不能快速投产。本文根据第一种方法,介绍DevOps理念及实现的一般方式。

DevOps是什么

DevOps是一种思想或方法论,它涵盖开发、测试、运维的整个过程！

DevOps强调软件开发人员与软件测试、软件运维、质量保证（QA）之间有效的沟通与协作。

强调通过自动化的方法管理软件变更，软件集成。

使软件从构建到测试、发布更加快捷、可靠，最终按时交付软件。

上图是一个闭环(简单来说就是封闭的圈)，涵括了软件开发和运维的全生命周期，从实现一个项目来说：需求分析->计划>编码->构建->测试->发布->部署->运维-监控->(新需求)需求分析->.....

按照了DevOps思想实现了闭环之后,流程只会一次次的循环走,避免了其他因素阻断或者影响产品自增长的状态。

结合公司项目开发的大概流程，我们看看是如何一步步操作的：

Ps: Product Backlog源自Scrum(敏捷)方法,是指产品代办事项的集合,其中事务有优先级判断,先处理优先级高的事项

图片描述:

• 用户使用产品->感觉到不方便,于是提出反馈给项目经理->项目经理根据反馈整理计划文档->分析详细需求->根据需求列出待办清单Backlog(有优先级,重要的先去解决)->发布一个迭代计划
• 开发人员开发，提交到代码仓库后，由持续集成系统自动发布项目
• 运维人员搭建监控系统ELK，构建运维平台（OpenStack？K8S?）
• 测试人员编写测试计划及设计用例，在缺陷管理系统中记录

为什么要使用DevOps

我们先通过下图了解一下项目开发模型的发展

传统上在软件开发中（无论是瀑布模型还是敏捷方式，敏捷也比较传统），都有‘开发团队’来构建软件。

开发团队需要与运维团队进行了大规模的交接。运维团队负责执行一系列部署活动，将软件代码部署到生产环境，并负责维护后续系统稳定运行。

生产环境的基础设施与开发或测试不同，需要有额外检查和平衡，来确保它一切功能正常。

上述过程需要投入很多人力物力，但使用到DevOps的软件开发模型，回优化缩短整个软件开发的生命周期。

因此，使用DevOps的原因是因为DevOps开发模型，相比瀑布或敏捷开发能在较短的开发周期内开发高质量软件的首选方法，同时可以提高客户满意度。

相对于开发工程师，学习DevOps会成为更加优秀的工程师。

相对于运维工程师，应用DevOps可以简化工作流程及提高工作效率。

相对于架构师，DevOps是必须拥有的技术能力。

如何落地DevOps理念

DevOps兴起于2009年,近年来由于云计、互联网的发展，促进了DevOps的基础设施及工具链的发展，涌现了一大批优秀的工具，这些工具包括开发、测试，运维的各个领域。如：Github,Git/SVN,Docker,Jenkins.HunSon,Ant/Maven/Gradle,Qunit,Jmeter等

工具列表展示

代码管理(SCM):GitHub、GitLab、BitBucket、SubVersion
构建工具:maven、Ant、Gradle
自动部署:Capistrano、CodeDeploy
持续集成(CI):Jenkins、Travis
配置管理:Ansible、SaltStack、Chef、Puppet
容器:Docker、Podman、LXC、第三方厂商如AWS
编排:Kubernetes、Core、Apache Mesos
服务注册与发现:Zookeeper、 etcd、Consul
脚本语言:python、ruby、shell
日志管理:ELK、Logentries
系统监控:Prometheus、 Zabbix、Datadog、Graphite、Ganglia、Nagios
性能监控:AppDynamics、New Relic、Splunk
压力测试:JMeter、Blaze Meter、loader.io
应用服务器:Tomcat、JBoss、IIS
Web服务器:Apache、Nginx
数据库:MySQL、Oracle、PostgreSQL等关系型数据库;mongoDB、redis等NoSQL数据库
项目管理(PM):Jira、Asana、Taiga、Trello、 Basecamp、 Pivotal Tracker

上面这么多工具我们没有必要全部到理解，我们只需要掌握项目开发的核心流程并去应对企业级的开发就可以了。

实践测试

案例展示：张三加入一个公司，维护十几台主机，部署几套SpringCloud微服务项目，目前发布还处于半自动化状态，开发自己出包，运维去上线，每次升级都需要花费好几个小时。平时的工作60%是项目部署、上线及技术支持，40%是处理问题及其他琐碎的事。面对这么多问题，如何在低成本情况下实现自动化运维，一步步向大厂的目标演进呢？

案例分析：实施大致分为以下步骤：

0. 使用Ansible批量管理机器、配置、部署等，一切运维工作尽可能自动化完成；
1. 使用Gitlab作为项目代码版本管理系统；
2. 使用Jenkins Pipline构建微服务发布平台，实现自动编译打包、结合Ansible实现项目升级，流水线式管理应用生命周期；
3. 监控的重要性不言而喻，也是第一时间要做的，采用新型监控系统Prometheus+Grafana；
4. 最后将所有微服务日志采集，分析出有用的数据，并且有利于故障排查及问题追溯。

实施过程：

1. 搭建配置代码仓库Gitlab。
2. 用Ansible 对主机环境进行统一环境配置（JDK，数据库，各种中间件..）。
3. 搭建配置持续集成工具jenkins，结合Ansible发布项目。
4. 搭建配置监控系统Zabbix/Prometheus。
5. 搭建配置日志分析系统ELK stack，分析微服务运行指标。

结语

想要完成这套运维自动化体系，只会一些基本的安装和使用是不够的，需要掌握涉及技术的核心知识，并且能够高效的将他们集成在一起，才能发挥其最大作用。

技术路上漫长，我们先明确好方向及大纲再逐项深入，最后再结合或者开发一个融合的运维平台，使运维自动化、可视化、平台化。

同时随着整个互联网业务急剧膨胀，以及服务类型的复杂多样，从传统的手工运维发展到自动化运维，加入基于机器学习的大脑之后，AiOps（智能化运维）是自动化运维的下一个发展阶段，但AiOps和DevOps两者并不冲突，企业级 DevOps 涵括包括运维在内的整个软件生命周期，AIOps 是 企业级 DevOps 在运维（技术运营）侧的高阶实现。