背景介绍在当今的软件开发环境中，持续集成（Continuous Integration，CI）和持续部署（Continuous Deployment，CD）是非常重要的概念。它们可以帮助我们实现高效的软件开发，提高软件质量，降低软件开发成本。在这篇文章中，我们将深入探讨测试自动化的持续集成与持续部署，并探讨它们如何帮助我们实现高效的软件开发。 核心概念与联系持续集成(Continuous Integration，CI)持续集成是一种软件开发策略，其核心思想是将开发人员的代码通过自动化的构建和测试系统进行集成和测试，以确保代码的质量和可靠性。通常，持续集成包括以下几个步骤： 开发人员在本地环境中编写代码并进行测试。 开发人员将代码推送到共享的代码仓库。 自动化构建系统从代码仓库中获取最新的代码，并进行构建。 自动化测试系统运行所有的测试用例，以确保代码的正确性和质量。 如果测试通过，则将代码部署到下一个环境中，如测试环境或生产环境。 持续集成的主要优点包括： 提高代码质量：通过自动化的构建和测试，可以及时发现和修复代码中的问题，从而提高代码质量。 提高开发效率：开发人员可以更加快速 ...
重试与超时在构建分布式系统时，保证可靠性是一项关键任务。Linkerd 是一个功能强大的服务网格工具，通过其重试与超时机制，可以帮助应对临时错误和延迟问题，从而提高系统的可靠性。本文将深入探讨 Linkerd 中的重试与超时特性，以及它们如何帮助应对故障和提升用户体验。 重试是一种处理失败请求的机制。当一个请求失败时，Linkerd 的重试机制可以自动重试请求，以期获得成功的响应。当特定实例上的特定路由返回错误时，Linkerd 可以简单地重试该请求，从而增加请求成功的可能性。这对于处理临时性的网络问题非常有用，例如网络拥塞或服务暂时不可用。通过重试，可以增加请求成功的机会，并提高系统的可靠性。然而，在实践中，实现重试可能会面临一些挑战。可能会给系统增加额外的负载，这个负载可能会让事情变得更糟糕。一种常见的故障场景就是重试风暴，为了避免重试风暴的发生，Linkerd 使用重试预算来设置重试参数。重试预算是可以重试的请求总数的百分比，Linkerd 默认允许对失败的请求进行 20% 的重试，并每秒额外允许 10 个请求的重试。这种方式可以有效地降低重试风暴的风险，确保系统的稳定性。 超时 ...
Service ProfilesLinkerd 服务网格解决的最重要问题之一是可观察性：提供服务行为的详细视图，Linkerd 对可观察性的价值主张是，它可以为你的 HTTP 和 gRPC 服务提供黄金指标，这些都是自动执行，无需更改代码或开发人员参与的。 部署测试应用了解 Linkerd 如何为一项服务工作，安装一个简单的示例应用 Emojivoto，该应用是一个简单的独立 Kubernetes 应用程序，它混合使用 gRPC 和 HTTP 调用，允许用户对他们最喜欢的表情符号进行投票。 通过运行以下命令可以将 Emojivoto 安装到 emojivoto 命名空间中： 1$ curl -fsL https://run.linkerd.io/emojivoto.yml | kubectl apply -f - 在我们对它进行网格(mesh)划分之前，让我们先来看看这个应用程序。可以通过 port-forward 来暴露 web-svc 服务kubectl -n emojivoto port-forward svc/web-svc 8080:80，也可以使用Ingress 1234 ...
Alertmanager简介Prometheus 架构中采集数据和发送告警是独立出来的, 告警触发后将信息转发到独立的组件 Alertmanager，满足告警触发条件就会向 Alertmanager 发送告警信息，最后通过接收器 recevier 发送给指定用户。 工作机制Alertmanager 收到告警信息后: 进行分组 Group（告警组） 通过定义好的路由 routing 转发到正确的接收器 recevier recevier 通过 email dingtalk wechat 等方式通知给定义好的接收人 四大功能 分组 (Grouping): 将同类型的告警进行分组, 合并多条告警到一个通知中 抑制 (Inhibition): 当某条告警已经发送, 停止重复发送由此告警引起的其他异常或者故障 静默 (Silences): 根据标签快速对告警进行静默处理, 如果告警符合静默的配置, Alertmanager 则不会发送告警通知 路由 (Route): 用于配置 Alertmanager 如何处理传入的特定类型的告警通知 配置详解123456789101112131415 ...
简介白盒监控vs黑盒监控白盒监控：监控主机的资源用量、容器的运行状态、数据库中间件的运行数据等等，这些都是支持业务和服务的基础设施，通过白盒能够了解其内部的实际运行状态，通过对监控指标的观察能够预判可能出现的问题，从而对潜在的不确定因素进行优化。 黑盒监控：以用户的身份测试服务的外部可见性，常见的黑盒监控包括 HTTP 探针 TCP 探针 等用于检测站点或者服务的可访问性，以及访问效率等。 黑盒监控相较于白盒监控最大的不同在于黑盒监控是以故障为导向的. 当故障发生时，黑盒监控能快速发现故障，而白盒监控则侧重于主动发现或者预测潜在的问题。一个完善的监控目标是要能够从白盒的角度发现潜在问题，能够在黑盒的角度快速发现已经发生的问题。 blackbox exporterBlackbox Exporter 是 Prometheus 社区提供的官方黑盒监控解决方案，其允许用户通过 HTTP HTTPS DNS TCP ICMP 以及 gPRC 的方式对 endpoints 端点进行探测。可以用于下面的这些场景： HTTP 测试：定义 Request Header 信息、判断 Http statu ...
服务发现简介在 Prometheus Operator 中, 我们无需手动编辑配置文件添加 kubernetes_sd_config 配置, Prometheus Operator 提供了下述资源： serviceMonitor：创建 endpoints 级别的服务发现 podMonitor：创建 pod 级别的服务发现 probe：创建 ingress 级别的服务发现(用于黑盒监控) 通过对这三种 CRD 资源的管理实现 prometheus 动态的服务发现。 除了 Kubernetes 集群中的一些资源对象、节点以及组件都需要监控，有的时候可能还需要根据实际的业务需求去添加自定义的监控项，添加一个自定义监控的步骤也是非常简单的。 第一步建立一个 ServiceMonitor 或 podMonitor 对象，用于 Prometheus 添加监控项 第二步为 ServiceMonitor 或 podMonitor 对象关联 metrics 数据接口的一个 Service 对象 第三步确保 Service 或 Pod 对象可以正确获取到 metrics 数据 接下来就来为大家演示 ...
Prometheus Operator介绍Prometheus Operator：为监控 Kubernetes 资源和 Prometheus 实例的管理提供了简单的定义，简化在 Kubernetes 上部署、管理和运行 Prometheus 和 Alertmanager 集群。 Prometheus Operator 的核心特性是 watch Kubernetes API 服务器对特定对象的更改，为 Kubernetes 提供了对 Prometheus 机器相关监控组件的本地部署和管理方案，该项目的目的是为了简化和自动化基于 Prometheus 的监控栈配置，主要包括以下几个功能： Kubernetes 自定义资源：使用 Kubernetes CRD 来部署和管理 Prometheus、Alertmanager 和相关组件。 简化的部署配置：直接通过 Kubernetes 资源清单配置 Prometheus，比如版本、持久化、副本、保留策略等等配置。 Prometheus 监控目标配置：基于熟知的 Kubernetes 标签查询自动生成监控目标配置，无需学习 Prometheus ...
日志报警对于生产环境以及一个有追求的运维人员来说，哪怕是毫秒级别的宕机也是不能容忍的。对基础设施及应用进行适当的日志记录和监控非常有助于解决问题，还可以帮助优化成本和资源，以及帮助检测以后可能会发生的一些问题。使用 Loki 收集日志是否可以根据采集的日志来进行报警呢？答案是肯定的，而且有两种方式可以来实现：Promtail 中的 metrics 阶段和 Loki 的 ruler 组件。 测试应用比如现在我们有一个如下所的 nginx 应用用于 Loki 日志报警： 123456789101112131415161718192021222324252627282930313233343536cat > appv1.yml <<EOFapiVersion: apps/v1kind: Deploymentmetadata: name: appv1spec: selector: matchLabels: app: appv1 template: metadata: labels: use: test app: ...
环境准备准备三台Linux机器（本文以Ubuntu 23.10系统为例），三台机器之间能相互通信。 以下是本文使用的三台Ubuntu 23.10： hostname IP memory k8s-master 10.1.1.20 4GB k8s-node1 10.1.1.30 2GB k8s-node2 10.1.1.40 2GB 系统初始化需分别在k8s-master、k8s-node1、k8s-node2 中执行，建议通过root用户操作 将普通用户(work)设置免密sudo切换 1234visudo # Allow members of group sudo to execute any command# 添加如下配置work ALL=(ALL) NOPASSWD:ALL 设置时区为上海 123timedatectl set-timezone Asia/Shanghaiapt-get install -y ntpdate >/dev/null 2>&1ntpdate ntp.aliyun.com 关闭swap 12sed -i ...
简介项目地址 官方文档 Grafana Loki 是一个水平可扩展，高可用性，多租户的日志聚合系统，Loki 是基于仅索引有关日志元数据的想法而构建的：标签（就像 Prometheus 标签一样）。日志数据本身被压缩然后并存储在对象存储（例如 S3 或 GCS）的块中，甚至存储在本地文件系统上，轻量级的索引和高度压缩的块简化了操作，并显著降低了 Loki 的成本，Loki 更适合中小团队。由于 Loki 使用和 Prometheus 类似的标签概念，所以如果你熟悉 Prometheus 那么将很容易上手，也可以直接和 Grafana 集成，只需要添加 Loki 数据源就可以开始查询日志数据了。 Loki 还提供了一个专门用于日志查询的 LogQL 查询语句，类似于 PromQL，通过 LogQL 我们可以很容易查询到需要的日志，也可以很轻松获取监控指标。Loki 还能够将 LogQL 查询直接转换为 Prometheus 指标。此外 Loki 允许我们定义有关 LogQL 指标的报警，并可以将它们和 Alertmanager 进行对接。 Grafana Loki 主要由 3 部分组成: ...
07bf558d4045265bd25330bc704e56c8362c64f2f3a01a03b0c6d9133d11823d17d3c8679647323f96496524fa8b4ad6a00bf4ff129efb34e9777e511ff698a6907a9bdc4b4c6281b80c2978f3f1873ea1f639644d9b3d3ef082df5cf22718a0d1f92b72af8d3555df3c2bc3c6973591c986047ce8cbe9c4586eb93f345612f1c41ff234cd92390ec0991dc8f10c4ced8918d6f92698d4811a1bd704e7806546019cb419c37ccb55afdef792a681a79726cfdd4309aa0eb9b2f955dcc148e416ceb794693b87300a8ff8713f52a42cbe8c08fd8f1250730b381749f9cba79e8be7cd622b9ce861f7cd4ec1e12d9c224192f1b6fb9e55b61b5 ...
3bfb72595ead2e149d77d9a193cd733251059b01b6642c49860faab10edac6002202fe51966c64eda10f4eeb1d704c2246412d4ec96b0ea08ba1ca4fa8b8ed86cbbf4baa5da5b6c527fb819f2c7273be246ec0c53c0f50ff98c58aa5f185f768d23c9d6514e5f36ca2dc81af8cf3c43927876815a03e3d69781efb18e436046a6bc8a938e78cf6a414083da9226a88870691aa7ac2fd0726fea1f5a429ab7f50d14e70dcd308e333dc10ff3c9851b216abe547c406324f978f627a82c2e68457b7959952934b31a32fccb368b85c01e44c575c991a4aac46d0124dc773d86ec97d5af1c74d85b1437b1f71a7292a337c54d866aecd3b63bf0 ...
