正则获取特定内容之零宽断言
零宽断言(匹配宽度为零,满足一定的条件/断言)零宽断言用于查找在某些内容(但并不包括这些内容)之前或之后的东西,也就是说它们像 \b ^ $ < > 这样的锚定作用,用于指定一个位置,这个位置应该满足一定的条件(即断言),因此它们也被称为零宽断言。 断言用来声明一个应该为真的事实。正则表达式中只有当断言为真时才会继续进行匹配。
四种分类先行断言 (?=exp)//表示匹配表达式前面的位置例如 [a-z]*(?=ing) 可以匹配 cooking 和 singing 中的 cook 与 sing
123[root@boysec.cn ~]$echo "cooking singing"|grep -oP '[a-z]*(?=ing)'cooksing
注意:先行断言的执行步骤是这样的先从要匹配的字符串中的最右端找到第一个 ing (也就是先行断言中的表达式)然后 再匹配其前面的表达式,若无法匹配则继续查找第二个 ing 再匹配第二个 ing 前面的字符串,若能匹配则匹配,符合正则的贪婪性。例如: .*(?=ing) 可以匹配 “cook ...
python脚本之批量查询网站权重
爱站批量查网站权重相信很多人在批量刷野战的时候,会去查看网站的权重吧,然后在决定是否提交给补天还在是盒子。但是不能批量去查询,很困惑,作为我这个菜鸟也很累,一个个查询的。所以写了这个脚本。参考脚本爱站批量查询网址权重2.0版本。
演示如果在cmd运行中得先转脚本对应的绝对路径下运行。不然会爆文件不存在的错误。如果在pycharm等集成环境中使用的话,将脚本文件作为一个项目打开。
将需要查询的网站保存在相同目录下的websites.txt文本中,一行一个网站。
注:本脚本不能保证一次完全都能查询成功,但失败的网站会保存在Query failure.csv文件中,成功的网站会保存在webweight.csv文件中。
结果
下面是最喜欢的环节放代码1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283848586878889909192 ...
fofa联动python爬虫
起因最近要用到fofa爬虫,为什么要用爬虫不用api,问就是穷,网上找到一个相关的脚本:Fofa-python-脚本,经过测试发现不能使用。。。尴尬了!!
关于fofa
FOFA是白帽汇推出的一款网络空间搜索引擎,它通过进行网络空间测绘,能够帮助研究人员或者企业迅速进行网络资产匹配,例如进行漏洞影响范围分析、应用分布统计、应用流行度等。FOFA搜索引擎检索到的内容主要是服务器,数据库,某个网站管理后台,路由器,交换机,公共ip的打印机,网络摄像头,门禁系统,Web服务 ……FOFA这类搜索引擎又有另一个名字:网络空间测绘系统。它们就像是现实生活中的卫星地图那样,一点点勾勒出公共网络空间的样子,每一个网站、每一台公共环境下的服务器……当一个高危漏洞爆发,FOFA系统便能向卫星定位地址一样,通过特征迅速找到全网的脆弱设备。网站:https://fofa.so/ FOFA不仅提供了在线搜索还提供了FOFA Pro客户端版本
简单来说就是跟国外的shodan,国内的ZoomEye一样是网络空间测绘工具
脚本更新日志
2021-4-4对最新版fofa更新做出对应更新,注意:config.py文 ...
kubernetes集群的ELK Stack日志分析
K8S ELK日志分析日志,对于任何系统来说都是及其重要的组成部分,在计算机系统中比较复杂,日志有不同的来源,如操作系统,应用服务,业务逻辑等,它们都在不停产生各种各样的日志。K8S系统里的业务应用是高度 “动态化”的,随着容器编排的进行,业务容器在不断的被创建、被销毁、被迁移、被扩缩容…
需要建立一套集中式的方法,把不同来源的数据集中整合到一个地方
收集—能够采集多种来源的日志数据(流式日志收集器)
传输—能够稳定的把日志数据传输到中央系统(消息队列)
存储—可以将日志以结构化数据的形式存储起来(搜索引擎)
分析—支持方便的分析、检索方法,最好有GUI管理系统(前端)
告警—能够提供错误报告,监控机制(监控工具)
开源解决方案—ELK Stack:
E – ElasticSearch
L – LogStash
K – Kibana
elasticsearch安装部署https://www.elastic.co/
https://github.com/elastic/elasticsearch
https://artifacts.elastic.co/downloads/el ...
kubernetes之微服务制作tomcat容器的底包镜像
制作tomcat容器的底包镜像Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。由于有了Sun 的参与和支持,最新的Servlet 和JSP 规范总是能在Tomcat 中得到体现,Tomcat 5支持最新的Servlet 2.4 和JSP 2.0 规范。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。
123wget https://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-8/v8.5.56/bin/apache-tomcat-8.5.63.tar.gzmkdir /data/dockerfile/tomcattar xf apache-tomcat-8.5.63.tar.gz -C /data/dockerfile/tomcat/
配置日志1234567891011121314151 ...
用Prometheus+Grafana监控kubernetes集群状态
Prometheus介绍Prometheus(普罗米修斯)是一个最初在SoundCloud上构建的监控系统,自2012年成为社区开源项目,拥有非常活跃的开发人员和用户社区,为强调开源及独立维护,Prometheus于2016年加入CNCF,成为继kubernetes之后的第二个托管项目。官方网站
Prometheus特点
多维数据模型: 由度量名称和键值对标识的时间序列数据
内置时间序列数据库:TSDB
promQL: 一种灵活的查询语言,可以利用多维数据完成复杂查询
基于HTTP的pull(拉取)方式采集时间序列数据(exporter)
同时支持PushGateway组件收集数据
通过服务发现或静态配置发现目标
多种图形模式及仪表盘支持
支持做为数据源接入Grafana
Prometheus架构
Exporters(可以自定义开发)
http接口
定义监控项和监控项的标签(维度)
按一定的数据结构组织监控数据
以时间序列被收集
Prometheus Server
Retrieve(数据收集器)
TSDB(时间序列数据库)
Configure (static_config、 k ...
K8S实战维护多套dubbo微服务环境
实战维护多套dubbo微服务环境生产实践
迭代新需求/修复BUG(编码->提GIT)
测试环境发版,测试(应用通过编译打包发布至TEST命名空间)
测试通过,上线(应用镜像直接发布至PROD命名空间)
在kubernetes集群里集成Apollo配置中心
Apollo介绍Apollo(阿波罗)是携程框架部门研发的分布式配置中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性,适用于微服务配置管理场景。
Apollo安装部署Apollo官方地址官方release包
基础架构
简化模型
交付apollo-configservice在运维主机k8s-dns.boysec.cn上:下载官方release包
12cd /tools/mkdir /data/dockerfile/apollo-configservice && unzip -o apollo-configservice-1.7.1-github.zip -d /data/dockerfile/apollo-configservice
执行数据库脚本注意:MySQL版本应为5.6或以上!
更新yum源
123456vi /etc/yum.repos.d/MariaDB.repo[mariadb]name = MariaDBbaseurl = https://mirrors.ustc.edu.cn/ma ...
云计算运维一步步编译安装Kubernetes之交付服务
基础架构
主机名
角色
ip
k8s-master.boysec.cn
k8s代理节点1,zk1
10.1.1.120
k8s-slave.boysec.cn
k8s代理节点2,zk2
10.1.1.130
k8s-node01.boysec.cn
k8s运算节点1,zk3
10.1.1.100
k8s-node02.boysec.cn
k8s运算节点2,jenkins
10.1.1.110
k8s-dns.boysec.cn
k8s运维节点(docker仓库)
10.1.1.250
部署zookeeper安装jdk1.8(3台zk角色主机)
jdk下载地址jdk1.8
123456cd tools[root@k8s-master tools]# rpm -ivh jdk-8u221-linux-x64.rpm[root@k8s-master tools]# java -versionjava version "1.8.0_221"Java(TM) SE Runtime Environment (build 1.8.0_221-b11 ...
云计算运维一步步编译安装Kubernetes之插件安装
介绍flannelFlannel是 CoreOS 团队针对 Kubernetes 设计的一个覆盖网络(Overlay Network)工具,其目的在于帮助每一个使用 Kuberentes 的 CoreOS 主机拥有一个完整的子网。这次的分享内容将从Flannel的介绍、工作原理及安装和配置三方面来介绍这个工具的使用方法。Flannel通过给每台宿主机分配一个子网的方式为容器提供虚拟网络,它基于Linux TUN/TAP,使用UDP封装IP包来创建overlay网络,并借助etcd维护网络的分配情况。Flannel is a simple and easy way to configure a layer 3 network fabric designed for Kubernetes.
flannel工作模式
模式
特点
host-gw
这种方式就是直接路由(相当于route add )
vxlan
是flannel推荐的方式。需要通信的网络设备能够支持vxlan协议(相当于VPN)
udp
该方式与vxlan很类似,它对ip层网络进行包装。通常用于调试环境或者不支持 ...