银河麒麟V10_网络配置 简述安装的银行麒麟v10操作系统,在重启后发现无网络连接,查看网卡ifcfg-ens32配置文件发现已配置开机自启动,但还是无IP配置 1234567891011121314151617181920TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=noneDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT= 2023-03-24 kylin #kylin
Python_PaddleOCR识别网站登录验证码 简述有个需求用python去登录某网站,登录时需要识别图片验证码。之前尝试过用不同的像素去除图片中的干扰像素,建立每个字母的库 去比对,发现效果很差。经同事提醒 用PaddleOCR完成的验证码识别,成功率60%左右,使用起来很简单,特此记录一下。 网站验证码示例如下: PaddleOCRPaddleOCR的github仓库地址PaddleOCR的官方快速开始文档官方的快速开始文档已经将使用方法介 2023-03-21 Python #OCR
Confluence_常用插件 简述工作需求对知识库类软件进行的比对,发现市场上知识库分为以下几类 百度文库类型,用户将写好的word文档或者txt上传到网站,进行统一查看。 集成数据库类型,如pingcode tapd等 本身产品是做团队协作和流程管理,知识库作为其中一部分的功能。最终还是选择了confluence作为公司知识库,但为了满足需求,又通过插件+自定义样式方式解决。confluence目前主推公有云版,之前的se 2023-03-17 Confluence #Confluence
PLG_日志系统 简述需要一套轻量级日志系统,来做业务的日志管理工作。因ELK过于重量,且很多功能并不需要,所以在此选用PLG来实现。 PLG:Promtail + Loki + GrafanaPromtail:部署在应用服务器收集应用日志Loki: 存储日志,提供查询功能,2.x版本提供日志告警功能Grafana: 显示应用日志 而且PLG可以和Prometheus复用组件,如grafana alert 2023-03-15 PLG #PLG #日志
GitLab_升级导致部分项目无法转换为哈希存储 经过123456789101112131415测试人员发现项目无法写入使用账号尝试后 排除账号权限问题,发现多个项目都有该问题联想到最近对Git Lab进行过升级操作,升级过程中有对传统存储项目转为哈希存储操作通过命令检查确实有30个项目还是处于传统存储模式,尝试再次转换 发现还是有20个项目无法转换通过命令尝试将20个项目模式更改为可写,发现项目可以写入 更改操作,尝试转换模式 发现还是无法转换 2021-12-09 GitLab #GitLab
GitLab升级版本 简述为了GitLab的漏洞:Gitlab远程代码执行漏洞(CVE-2021-22205) https://cloud.tencent.com/announce/detail/1630 需要对公司Gitlab进行版本升级:准备升级到最新的安全版本14.2.7 漏洞风险攻击者利用该漏洞可导致远程代码执行 影响版本GitLab(CE/EE)<= 11.9,< 13. 2021-12-02 GitLab #GitLab
Prometheus_VMware_exporter VMware监控的实现安装VMware_exporter组件GitHub地址:https://github.com/pryorda/vmware_exporter 详细的参数说明请查看Github项目仓库中的说明文件 本次使用容器部署,所以只要准备好配置文件添加到容器内启动即可,配置文件如下: 1234567891011121314151617181920212223242526272829303 2021-11-29 Prometheus #Prometheus #VMware_exporter #VMware
Nginx_location&proxy_pass转发规则 简述最近经常配置nginx,对于location和proxy_pass加不加杠经常忘记,从别的博文上看到整理的规则,特此记录下,但那个博文忘记链接了,不能贴上原文链接,非常抱歉。 location proxy_pass location 优先级 2021-11-17 Nginx #location #proxy_pass
OpenResty_自动网关加签 背景原请求场景是:请求—NG—网关—后端服务现在平台方想让请求统一通过自己的里约网关在转到我们的网关上,请求场景变成了:请求—NG—里约网关—网关—后端服务里约网关需要验证,验证方式就是将随机串+密钥+时间戳通过sha加密出字符串,再将这几个key添加到请求头中,因代码是统一的 多平台的,因此想在ng上实现自动加签。尝试过ng+fastcgi实现 没走通,最后通过OpenResty实现此功能。 安 2021-11-08 Nginx #Nginx #lua #OpenResty
Chrome_private-network-access-update 问题研发人员在客户现场进行环境调试的时候,前端资源调用电脑的U盾时,浏览器console输出跨域错误,报错如下: 1Access to XMLHttpRequest at 'http://127.0.0.1:xxxx' from origin 'http://公网IP' hsa been blocked by CORS policy:The request 2021-10-12 Chrome #HTTP #Chrome #跨域
Prometheus_钉钉群@某人_20210918 简述之前写过一篇钉钉群@某人操作,但是实现过程过于复杂,还需要引入额外的插件(prometheus-webhook-dingtalk),现在PrometheusAlert插件已经支持@功能。而且之前是通过不同的监控任务实现的业务分组 感觉有些僵硬,现在通过为每个应用打标签的功能来实现不同的告警对象,两者结合使用。 配置项的标签123456789- targets: - "10.0.1. 2021-09-18 Prometheus #Prometheus #dingtalk
Prometheus_监控Redis redis_exporter redis_exporter监控redis的组件,可与redis不在同一台机器,能与redis通信即可 部署方式 通过relabel_configs来替换标签 实现一个redis_exporter实列 收集不同的redis信息 也可通过一个redis一个redis_exporter实列来实现,如果是集群模式的redis 配置一个节点的信息即可,exporter会自动 2021-08-20 Prometheus #Prometheus #Redis
Nginx_proxy_next_upstream引发的服务不可用 起因 早上突然收到大量业务日志告警 都提示nacos不可用,检查完nacos 发现服务是正常的,通过nginx的日志和nacos的日志 确定是因为错误请求和nginx配置有关 错误请求 nacos可以通过公网被访问到 42.236.10.106 为360爬虫地址 爬虫发起请求 GET /nacos/v1/cs/configs 因为缺少参数,导致nacos出 2021-08-16 Nginx #QA #Nginx
AuditBeat-审计 [TOC] 简介 为了对服务器进行审计,进行安装auditbeat。本来审计功能一般是通过堡垒机来进行的,但总有方式绕过堡垒机进行操作,无法记录 而且堡垒机的操作审计较单一,不如auditbeat功能丰富,展示功能也较弱。auditbeat是elastic生态的一个组件,依靠elasticsearch和kibana展示,输出方式也多种多样可以是es logstash 普通文件。linux自身也有a 2021-07-30 elastic #auditbeat #auditd
filebeat_无法收集日志 简介 收集doris的日志,安装file beat后,配置文件按照之前的配置后,发现日志并没有输出到logstash.起初怀疑日志格式不匹配,logstash没有过滤出日志,经过不断尝试 排错 发现多行匹配的问题。 filebeat 配置文件1234567891011121314151617181920212223- type: log enabled: true paths: - / 2021-06-29 ELK #Filebeat
ELK-日志监控ElastAlert_python2.7版本 简介 之前已经写过elastalert的安装过程了,但这次安装过程中碰到的问题挺多的,特此记录一下 系统:Centos:7.6 Python:2.7和3.6并存 elastalert 0.1.20 安装pip #pip2.7 pip3.6 requirements.txt 中软件的版本问题 安装完成后更改脚本中的执行python版本 dingtalk插件安装 安装pip的安装 需要注意pip 2021-06-22 ELK #ELK #ElastAlert #log
Nexus_手动更新jar包&更新构建缓存 更新Nexus仓库中的jar包 登录nexus仓库后找到对应的jar包路径 点击对应jar包,获得jar包信息12345<dependency> <groupId>cn.auc</groupId> <artifactId>cep-api</artifactId> <version>1.0</version>& 2021-06-03 Jenkins #Nexus #Jenkins
Prometheus_钉钉群ding某人和应用分组报警 起因公司这边主要是通过Prometheus来进行监控的,告警媒介主要是通过webhook在钉钉群中完成告警。但是现在的告警信息只能知道有异常,不能快速定位,而且报警信息过多的话,很容易遗漏,不能根据报警信息找到对应的人员,因此想通过告警来自动完成ding某人的操作。之前的报警信息如下,采用markdown类型,只能知道机器和端口,需要根据端口去找对应的进程,而进程名称和文件夹名称不对应,像我这种刚 2021-04-08 Prometheus #Prometheus #alertmanager #prometheus-webhook-dingtalk
FREEIPA_QA IPv6 stack is enabled in the kernel but there is no interface that has ::1 address assigned. Add ::1 address resolution to ‘lo’ interface. You might need to enable IPv6 on the interface ‘lo’ in sysctl 2021-02-18 FREEIPA #FREEIPA #QA
LINUX_救援模式修复 简述本次故障于下面连接的博文一致,解决方法也是借鉴博文,推荐去下面的博文查看https://yq.aliyun.com/articles/225837 系统版本:CentOS 6.5 64故障描述:/bin/sh文件缺失,导致系统启动卡在进度条 处理过程问题发现及重置密码由于是问题解决后写的本文档,所以有些没有截图 由研发人员说服务器无法登陆,尝试ssh连接一致提示密码错误, 2021-02-04 LINUX #LINUX
LINUX_添加根证书信任源 简介某三方机构需要更换https证书,通知客户检测是否支持新证书加密算法,先给一个域名配置了新证书 客户在在自己服务端测试是否支持新证书 过程在三方机构发送的邮件中包含证书和操作步骤,但操作步骤中的三个方法都是针对Java程序来进行操作的,没有针对系统的。而我们业务都是通过nginx反向代理去请求三方的,所以需要其他的方法。 SSL证书解析流程推荐去下面的博文学习,下面内容就是从博文中拿出来的HT 2021-02-01 LINUX #LINUX #证书
Prometheus_SNMP监控防火墙流量 简介本文主要借鉴whale_life的CSDN的博客专栏:https://blog.51cto.com/liujingyu/2541726 职场环境内经常出现网速缓慢,领导就想监控下职场的流量情况 安装部署各程序说明 Prometheus:用于做主监控端,收集 snmp_exporter 数据信息 snmp_exporter:用于监控交换机设备,收集交换机数据信息 Grafana: 把 Prome 2020-12-21 Prometheus #Prometheus #SNMP
VMware_OVA目标数据存储不支持虚拟机 简介需求是将一个OVA模板导入vCenter中,再导入过程中提示目标存储不支持虚拟机但是可以将模板导入到VMware Workstation中 解决方法 将OVA模板导入VMware Workstatio中 在VMware Workstatio的菜单-文件-导出为OVF即可 此时在vCenter中导入OVF模板即可(文件–导入) 2020-12-14 VMware #QA #VMware #vcenter
Docker_网络模式及资源限制 网络模式下面的内容主要是从w3cschool上看到的,下面只是做一个记录,推荐到https://www.w3cschool.cn/ikjzm/ikjzm-gnue24x9.html看 docker四种网络模式 none 不采用网络配置 container 和已有的容器共享IP和端口 bridge 默认的网络模式,容器所有请求通过docker0进程发送和接受 host 和宿主机采用同一个N 2020-12-09 Docker #Docker
Python_动态解析域名更换安全组规则 简介由于腾讯云安全组不支持添加域名,导致一些服务依赖外部域名的 有时会因为域名解析的IP更新而无法访问,最近又在学习python,特写了下面这个脚本,来实现自动获取域名解析出来的IP更改安全组规则和添加路由表规则 脚本需要安装腾讯SDK环境 1pip install --upgrade tencentcloud-sdk-python 腾讯SDK GitHub地址:https://github.co 2020-12-04 Python #Python #安全组 #路由表
Other_隐私短信 简介现在大部分网站都需要手机号的验证码才能注册,而有一些APP或者网站 我只想登陆一次,并不是一直使用 不想暴露自己的真实手机号码,就可以通过虚拟号码来进行注册 虚拟号码隐私短信:https://www.yinsiduanxin.com/这个网站中的手机号码是免费使用的 在网站中选择一个手机号码 在需要注册APP或者网站中输入选择的手机号码 在网站中点击选择的手机号码,选择获取本页最新短信 2020-12-02 Other #虚拟号码 #验证码
Python_爬取JD商品信息 header的生成主流网站都限制了爬虫,一般是识别header信息来判断真人或者爬虫,直接通过request获取商品页面会被重定向到登陆界面,配置了header可正常获取信息对header不熟悉的可通过工具来生成header https://curl.trillworks.com/ 首先获取爬取页面的url,通过开发者模式获取curl 复制到https://curl.trillworks.c 2020-11-25 Python #Python #crawler
LINUX_获取分析内存信息 JMAP获取java进程的内存镜像Jmap的安装jmap是jdk环境中集成的,只要配置了Java环境就可以使用,没有配置环境变量的话 需要指定绝对路径 可以从Oracle官网上找到jdk的安装包下载下来后,直接解压即可 Jmap获取内存镜像#jps 获取Java进程的PID #jmap -dump:format=b,file=内存文件 进程PID #jmap获取的内存镜像信息一般通过IDE来进 2020-11-19 LINUX > JAVA #LINUX #JAVA #内存
LINUX_分析系统情况 简介 如果通过内存 CPU 磁盘 网络 指标分析系统运行情况 什么是QPS/TPS 本节原文地址:https://blog.csdn.net/u010889616/article/details/83245695QPS:Queries Per Second意思是“每秒查询率”,是一台服务器每秒能够相应的查询次数,是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。 TPS: 2020-11-19 LINUX #LINUX
ELK_日志监控_ElastAlertServer 简介公司新建了一套ELK7.6.2的,之前对一个项目Elast Alert做了个日志监控报警,新版本的ELK集群用老版本的Elast Alert不支持,所以要将EA升级,想到之前看到kibana集成EA,这次就想用起来。 EA的官方版本支持到ES7.5版本,下面我所使用的EA是非官方版本 安装因为ELK集群已经搭建完成,并且在正常使用了,所以本篇只记录EAServer的安装调试以及Kibana p 2020-11-13 ELK #ELK #ElastAlert #log #Docker #kibana-plugin