spinnaker概述和选型概述主要功能Spinnaker是一个开源的多云持续交付平台，提供快速、可靠、稳定的软件变更服务。主要包含两类功能：集群管理和部署管理 集群管理集群管理主要用于管理云资源，Spinnaker所说的”云“可以理解成AWS，即主要是laaS的资源，比如OpenStak，Google云，微软云等，后来还支持了容器与Kubernetes，但是管理方式还是按照管理基础设施的模式来设计的。 部署管理管理部署流程是Spinnaker的核心功能，使用minio作为持久化层，同时对接jenkins流水线创建的镜像，部署到Kubernetes集群中去，让服务真正运行起来。 逻辑架构图Spinnaker自己就是Spinnake一个微服务,由若干组件组成，整套逻辑架构图如下： Deck是基于浏览器的UI。 Gate是API网关。Spinnaker UI和所有api调用程序都通过Gate与Spinnaker进行通信。 Clouddriver负责管理云平台，并为所有部署的资源编制索引/缓存。 Front50用于管理数据持久化，用于保存应用程序，管道，项目和通知的元数据。 I ...
K8S ELK日志分析日志，对于任何系统来说都是及其重要的组成部分，在计算机系统中比较复杂，日志有不同的来源，如操作系统，应用服务，业务逻辑等，它们都在不停产生各种各样的日志。K8S系统里的业务应用是高度 “动态化”的，随着容器编排的进行，业务容器在不断的被创建、被销毁、被迁移、被扩缩容… 需要建立一套集中式的方法，把不同来源的数据集中整合到一个地方 收集—能够采集多种来源的日志数据（流式日志收集器） 传输—能够稳定的把日志数据传输到中央系统（消息队列） 存储—可以将日志以结构化数据的形式存储起来（搜索引擎） 分析—支持方便的分析、检索方法，最好有GUI管理系统（前端） 告警—能够提供错误报告，监控机制（监控工具） 开源解决方案—ELK Stack： E – ElasticSearch L – LogStash K – Kibana elasticsearch安装部署https://www.elastic.co/ https://github.com/elastic/elasticsearch https://artifacts.elastic.co/downloads/el ...
Grafana的介绍与使用简介Grafana是一款用Go语言开发的开源数据可视化工具，可以做数据监控和数据统计，带有告警功能。目前使用grafana的公司有很多，如paypal、ebay、intel等。 七大特点①可视化：快速和灵活的客户端图形具有多种选项。面板插件为许多不同的方式可视化指标和日志。 ②报警：可视化地为最重要的指标定义警报规则。Grafana将持续评估它们，并发送通知。 ③通知：警报更改状态时，它会发出通知。接收电子邮件通知。 ④动态仪表盘：使用模板变量创建动态和可重用的仪表板，这些模板变量作为下拉菜单出现在仪表板顶部。 ⑤混合数据源：在同一个图中混合不同的数据源!可以根据每个查询指定数据源。这甚至适用于自定义数据源。 ⑥注释：注释来自不同数据源图表。将鼠标悬停在事件上可以显示完整的事件元数据和标记。 ⑦过滤器：过滤器允许您动态创建新的键/值过滤器，这些过滤器将自动应用于使用该数据源的所有查询。 Grafana安装部署准备镜像123[root@k8s-dns ]# docker pull grafana/grafana:7.3.3[root@k8s-dns ] ...
Prometheus介绍Prometheus（普罗米修斯）是一个最初在SoundCloud上构建的监控系统，自2012年成为社区开源项目，拥有非常活跃的开发人员和用户社区，为强调开源及独立维护，Prometheus于2016年加入CNCF，成为继kubernetes之后的第二个托管项目。官方网站 Prometheus特点 多维数据模型： 由度量名称和键值对标识的时间序列数据 内置时间序列数据库：TSDB promQL: 一种灵活的查询语言，可以利用多维数据完成复杂查询 基于HTTP的pull（拉取）方式采集时间序列数据（exporter） 同时支持PushGateway组件收集数据 通过服务发现或静态配置发现目标 多种图形模式及仪表盘支持 支持做为数据源接入Grafana Prometheus架构 Exporters(可以自定义开发) http接口 定义监控项和监控项的标签（维度） 按一定的数据结构组织监控数据 以时间序列被收集 Prometheus Server Retrieve（数据收集器） TSDB（时间序列数据库） Configure （static_config、 k ...
制作tomcat容器的底包镜像Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。由于有了Sun 的参与和支持，最新的Servlet 和JSP 规范总是能在Tomcat 中得到体现，Tomcat 5支持最新的Servlet 2.4 和JSP 2.0 规范。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。 123wget https://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-8/v8.5.70/bin/apache-tomcat-8.5.70.tar.gzmkdir /data/dockerfile/tomcattar xf apache-tomcat-8.5.69.tar.gz -C /data/dockerfile/tomcat/ 配置日志123456789101112131415161 ...
Apollo介绍Apollo（阿波罗）是携程框架部门研发的分布式配置中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性，适用于微服务配置管理场景。 Apollo安装部署Apollo官方地址 官方release包 基础架构 简化模型 交付apollo-configservice准备软件包在k8s-dns.boysec.cn上： 下载官方release包 12cd /tools/mkdir /data/dockerfile/apollo-configservice && unzip -o apollo-configservice-1.7.1-github.zip -d /data/dockerfile/apollo-configservice 执行数据库脚本注意：MySQL版本应为5.6或以上！ 更新yum源 123456vi /etc/yum.repos.d/MariaDB.repo[mariadb]name = MariaDBbaseurl = https://mirrors.ustc.edu.cn ...
dubbo微服务dubbo提供了六大核心能力：面向接口代理的高性能RPC调用，智能容错和负载均衡，服务自动注册和发现，高度可扩展能力，运行期流量调度，可视化的服务治理与运维。 基础架构 主机名 角色 IP k8s-node01.boysec.cn k8s计算节点1，zk1 10.1.1.100 k8s-node02.boysec.cn k8s计算节点2，jenkins 10.1.1.110 k8s-master.boysec.cn k8s代理节点1，zk2 10.1.1.120 k8s-slave.boysec.cn k8s代理节点2，zk3 10.1.1.130 k8s-dns.boysec.cn k8s运维节点(docker仓库) 10.1.1.250 部署zookeeper安装jdk1.8（3台zk角色主机） jdk下载地址jdk1.8 123456cd /server/tools[root@k8s-master tools]# rpm -ivh jdk-8u221-linux-x64.rpm[root@k8s-master tools]# jav ...
介绍flannelFlannel是 CoreOS 团队针对 Kubernetes 设计的一个覆盖网络（Overlay Network）工具，其目的在于帮助每一个使用 Kuberentes 的 CoreOS 主机拥有一个完整的子网。这次的分享内容将从Flannel的介绍、工作原理及安装和配置三方面来介绍这个工具的使用方法。 Flannel通过给每台宿主机分配一个子网的方式为容器提供虚拟网络，它基于Linux TUN/TAP，使用UDP封装IP包来创建overlay网络，并借助etcd维护网络的分配情况。 Flannel is a simple and easy way to configure a layer 3 network fabric designed for Kubernetes. flannel工作模式 模式 特点 host-gw 这种方式就是直接路由（相当于route add ） vxlan 是flannel推荐的方式。需要通信的网络设备能够支持vxlan协议（相当于VPN） udp 该方式与vxlan很类似，它对ip层网络进行包装。通常用于调试 ...
部署kubelet集群规划 主机名 角色 ip k8s-node01.boysec.cn kubelet 10.1.1.100 k8s-node02.boysec.cn kubelet 10.1.1.110 注意：这里部署文档以k8s-node01.boysec.cn主机为例，另外一台运算节点安装部署方法类似 签发kubelet证书在k8s-dns.boysec.cn上： vim /opt/certs/kubelet-csr.json 1234567891011121314151617181920212223242526{ "CN": "kubelet-node", "hosts": [ "127.0.0.1", "10.1.1.50", "10.1.1.60", "10.1.1.100", "10.1.1.110", ...
部署kube-apiserver集群 主机名 角色 IP k8s-node01.boysec.cn kube-apiserver 10.1.1.100 k8s-node02.boysec.cn kube-apiserver 10.1.1.110 k8s-master.boysec.cn 4层负载均衡 10.1.1.120 k8s-slave.boysec.cn 4层负载均衡 10.1.1.130 注意：这里10.1.1.120和10.1.1.130使用nginx做4层负载均衡器，用keepalived跑一个vip：10.1.1.50，代理两个kube-apiserver，实现高可用这里部署文档以k8s-node01.boysec.cn主机为例，另外一台运算节点安装部署方法类似 下载安装kube-apiserverKubernetes下载地址 12345cd /server/tools/ tar xf kubernetes-server-linux-amd64.tar.gz -C /opt mv /opt/kubernetes /opt/kubernetes- ...
Kubernetes介绍Kubernetes是什么？Kubernetes是容器集群管理系统，是一个开源的平台，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。通过Kubernetes你可以： 快速部署应用 快速扩展应用 无缝对接新的应用功能 节省资源，优化硬件资源的使用 我们的目标是促进完善组件和工具的生态系统，以减轻应用程序在公有云或私有云中运行的负担。 Kubernetes 特点 可移植: 支持公有云，私有云，混合云，多重云（multi-cloud） 可扩展: 模块化, 插件化, 可挂载, 可组合 自动化: 自动部署，自动重启，自动复制，自动伸缩/扩展 Kubernetes是Google 2014年创建管理的，是Google 10多年大规模容器管理技术Borg的开源版本。为什么要使用容器？通过以下两个图对比： 传统的应用部署方式是通过插件或脚本来安装应用。这样做的缺点是应用的运行、配置、管理、所有生存周期将与当前操作系统绑定，这样做并不利于应用的升级更新/回滚等操作，当然也可以通过创建虚机的方式来实现某些功能，但是虚拟机非常重，并不利于可移植性。 新 ...
性能优化监控数据分析 zabbix监控主机和监控项较少的时候，不需要优化。 数据库 200台主机 * 200个监控项 = 40000监控项/30秒 = 1333次写入/每秒。写多，读少 优化思路 mariadb 5.5 innodb 升级到mysql5.7 tokudb。 去掉无用监控项，增加监控项的取值间隔，减少历史数据的保存周期。 被动模式改为主动模式。 针对zabbix-server进程数量调优。 针对zabbix-server缓存调优，谁的占用内存大，就加大他的缓存。 升级MySQL存储引擎安装perconna源1yum install https://mirrors.tuna.tsinghua.edu.cn/percona/yum/percona-release-1.0-16.noarch.rpm 安装依赖12345678910111213141516yum install epel-release -yyum install jemalloc -y## 查看库文件[root@zabbix ~]# rpm -ql jemalloc ...
