基于GitHub Actions在Google Cloud上构建企业级DevSecOps持续集成和持续交付流水线

在当今迅速变化的数字环境中，组织无论大小都需要安全可靠的软件交付。DevSecOps是一种将安全实践贯穿于CI/CD流水线中的做法，使安全成为从开发周期开始共同承担的责任。这种方法与传统的工作流程不同之处在于，安全往往被作为最后的步骤添加，从而导致延迟、漏洞和返工。本文探讨了如何在GitHub Actions上创建一个稳健的DevSecOps流水线，专门用于部署到Google云平台（GCP），确保从功能请求到部署的每个组件都经过彻底测试并确保安全。

为什么写这篇文章

这篇文章的目的在于提供一个全面且实用的指南，介绍如何构建一个安全的CI/CD流水线，以有效应对现代软件交付的复杂性。在我的工作和研究中，我经常遇到团队在速度与安全之间取得平衡的难题。通过逐步解析流水线的每一个环节，这篇文章旨在解释如何构建以安全为主导的DevOps流程，以符合企业标准的方式。无论你是DevOps工程师、开发人员还是安全专家，这篇文章将为你提供安全可靠地部署应用的知识和工具。

随着网络威胁的增加和合规要求的提升，组织再也不能把安全看作事后才考虑的事情了。数据泄露、经济损失和声誉损害都可能源自开发过程中未被发现的安全漏洞。将安全实践融入DevOps，我们现在称之为DevSecOps，确保安全不仅被优先考虑，还被自动化。一个企业级的DevSecOps流水线在每个阶段都包含了全面的检查和平衡，从各个层面确保安全。随着安全成为大家共同的责任，DevSecOps帮助组织更快地交付更安全的软件。

通过在 GitHub Actions 上建立一个明确的 DevSecOps CI/CD 流水线来部署到 GCP，组织可以达到：

• 自动化安全检查：通过自动化安全扫描和合规检查来减少人为错误。
• 持续改进：每当代码推送时，构建流水线会测试安全漏洞、代码质量问题和性能瓶颈，从而持续改进。
• 合规性和审计准备：通过提供清晰且可重复的过程及记录结果和证据的文档来简化审计和满足合规性。

以下是我们在结合的 CI/CD 管道中的关键阶段介绍：

1. 持续集成（CI）：构建、测试并扫描代码。
2. 持续部署（CD）：将代码部署到 GKE，包括安全检查、策略检查和监控。

每个阶段都包含多个自动检查和流程，从而在 GitHub Actions 中构建了一个稳定可靠的端到端流程。

持续集成（CI）：构建和测试代码的过程：

CI流水线处理代码检查、安全扫描和单元测试验证，以确保每次提交都符合必需的安全及质量要求。

1. 功能请求和问题跟踪：当请求一个功能时，会在Jira中创建一个工单并分配给开发人员，确保可追溯性。
2. 提交前检查：在代码提交之前，会运行代码格式、样式和早期安全检查，尽早发现问题。
3. 提交到GitHub并触发流水线：代码被推送到GitHub并触发CI/CD流水线。
4. 软件组成分析 (SCA)：利用Snyk等工具检查依赖项中的漏洞。
5. 秘密扫描：使用Gitleaks等工具扫描代码库中是否存在硬编码的密钥值。
6. 静态应用程序安全测试 (SAST)：运行CodeQL等分析工具检查代码中可能存在的安全漏洞。
7. 代码质量和代码异味检查：使用SonarCloud评估代码的可维护性并识别潜在的错误。
8. 许可证合规性检查：使用FOSSA等工具确保第三方组件符合开源许可证的要求。
9. 生成SBOM：生成软件物料清单以记录依赖项并帮助确保合规性。
10. 构建和打包应用：将应用打包到Docker容器中。
11. 单元测试：使用Jacoco确保代码覆盖率以进行全面的单元测试。
12. 变异测试：通过代码变异评估测试的健壮性。
13. 镜像扫描：在部署前对容器镜像进行漏洞扫描。
14. 策略即代码强制执行：使用OPA强制执行安全和合规策略。
15. 工件存储和二进制授权：将镜像存储在Google工件注册表中，使用二进制授权确保在部署前的合规性。
16. 动态应用程序安全测试 (DAST)：使用OWASP ZAP在容器化环境中测试应用，以识别运行时漏洞。

通过所有CI阶段后，代码进入部署阶段。在此阶段，我们会实施安全策略，并监控应用的性能和合规情况。

1. 开发人员部署流程： 开发人员编写 Kubernetes 部署配置文件并提交至 GitHub。
2. 从 GAR 拉取镜像文件： ArgoCD 或 Helm Charts 从 GAR 拉取镜像文件并将其部署到 GKE 集群中。
3. 策略执行和集群扫描。

• GKE Admission Controller策略：Google Cloud Gatekeeper 策略用于强制实施合规性和安全规则。
• Kubesec 和 Kube-bench 运行安全检查，并根据 CIS标准要求 对 GKE 集群进行基准测试。

4. 监控与实时安全

• 普罗米修斯 ，Grafana 集成用于集群监控。
• Coralogix 监控网页应用的用户界面的错误、性能和日志。
• Google Cloud 安全命令中心 (SCC) ： 实时安全监控在运行时。
• Kubernetes 威胁检测 (KTD) ，监控 GKE (Google Kubernetes Engine) 中的恶意或可疑活动。

5. SSL证书及应用访问: 安装SSL证书以确保网页应用的安全。

6. 应用程序渗透测试： 手动使用 Burp Suite Professional 进行渗透测试，以发现自动化测试可能忽略的任何漏洞。

SDLC中的左移策略

创建这个工作流程的可视化表示对于理解各个阶段之间的流程和依赖关系来说非常重要。这里是如何构建工作流程图的步骤。

CI管道的安全

CD流水线的安全

在这个流程中，每一步都确保了安全和质量，并与下一阶段无缝衔接。

S-SDLC 流程图

为了把整个流程可视化，创建一个流程图（Flowchart），详细说明每个CI/CD步骤，从开发者的初始提交到部署后的监控。这个图表将帮助阐明每个阶段的具体输入、输出及其依赖关系。

CI/CD 流水线的阶段

代码QL分析结果

集成工具

图片扫描的结果

OWASP ZAP 的 DAST 结果

Docker Scout 的结果

合规性许可证检查

秘密扫描得到的结果

运行时生成物

代码检查策略（高级）（关键漏洞扫描）

图片已经推送到GAR了

二进制验证者的详情

二进制构建图像的双重确认

在当今快速变化的开发环境中，一个稳健且安全导向的DevSecOps CI/CD流水线对于交付既可靠又安全的应用至关重要。通过在GitHub Actions上构建针对GCP的企业级CI/CD流水线，此框架实现了以下几点。

1. 无缝自动化：减少人工任务可以简化工作流程，降低人为错误，加速交付，从而加快上市时间。
2. 端到端安全与合规：整合依赖关系、代码质量、机密、策略和容器安全等全面检查，确保每个发布符合行业标准和监管要求。
3. 持续质量保证：通过自动化测试、漏洞扫描和监控，该流水线提高了每个部署的安全性和质量，使团队能够及时解决问题并有效迭代。

这种方法不仅增强了应用的安全性，还培养了持续改进和安全至上的企业文化。通过采用这种 DevSecOps 管道，组织可以实现更快、更可靠且安全的部署，最终建立起他们对软件交付的信任，并为云端安全应用开发铺平可持续发展的道路。

不断学习，不断分享，不断贡献！