做一个项目需要实现mysql的数据导入到 es 中去，参考来诸多方案，之前是想着使用，ingest node 来进行 pipeline 的数据处理。但是ingest 不支持 jdbc。无法实现。考虑到数据不需要进行强同步，且数据单向的流动。
所以综上使用 Logstash 这种经典方案来进行数据的导[……]
ElasticSearch 导入mysql数据
回复
分类目录归档：op
ElasticSearch 索引重命名
对于已存在索引的索引需要更名的时候的操作。
由于elasticsearch 不支持直接的索引改名，所以在改名的时候主要进行索引内容的拷贝，之后再删除原索引来实现重命名。
在控制台执行命令如下：
POST /_reindex
{
"source": {
"in[......]使用netcat命令在两台Linux系统之间复制目录
我们知道可以是用那个scp命令来在两个系统之间复制文件，
实际上netcat命令也是可以的，使用最简单的方法来传输基本的字节流来实现文件传输的功能。
先要netcat这个工具，centos下面的话使用yum安装
yum install nc接受文件的电脑使用下面命令，开启本地端口来收文件，例如使用[……]
Logstash 日志grok解析以及主键更新
工作时候遇到了日志解析入库的配置，过程不复杂但是很经典，这里记录一下 Logstash 的日志解析的配置过程，以及设计到的主键的替换。
Grok 原始日志处理
原始日志的内容如下面给出：
[error][2020-08-07T00:00:24.520Z] responseError:{"m[......]博客迁移之路–DB的去Docker化
之前本站的是使用纯Docker 来进行部署。每一个博客的实例都会跑起来一个Mysql实例，但是服务器本身的规格很低只有1C1G。所以导致了有大量的数据被置换到了 Swap 里面，每当有请求的时候load都会大幅上升，导致了整机的卡顿。
所以本篇的目的，就是记录把Docker的mysql 的数据，导出[……]
Traefik-Ingress 初步实践记录
在之前的K3S的配置的部分，有一个很诡异的问题就是，80和443 的端口的路由是直接走到了ingress层上面去，导致 nginx 的80端口的规则被 overwrite掉了。
但是ingress 是整个容器集群十分重要的一环。是连接容器内外网络的重要部分。
traefik 使用了label 来对i[……]
K3S 部署记录 — 集群&监控&K9S
之前辛辛苦苦折腾的 K8S 集群由于是在是太重了，感觉没有很好的运营起来，导致被最后一堆交错的问题劝退。
后面偶尔看到了 K3S这个东西，自己孤陋寡闻，以为又是国人搞得什么山寨项目（笑）
后面偶然机会去仔细看了下，发现真是个好东西，对K8S基本能做到全部兼容，自己拿来用是足够了。
全部的依赖都在二进[……]
docker-compose 快速部署mongo测试环境
[……]
Crontab Permission denied
技术学习方面的东西，需要自己不断的区总结和复盘，把知识转化为自己的
也要理论作为经验的支柱，来使它更加健壮
问题现象
用户执行 crontab 的时候，报错permission deny 的错误，具体错误内容
crontab -e
/var/spool/cron/crontabs/admin: Pe[......]重试风暴导致 PM2主进程过载事件
终端上报功能由于模块bug以及不规范变更，导致大量用户接口重试请求，未达到事故级别，未影响核心功能，但造成一定的现网压力。
故障原因：新版本服务存在设计缺陷
当请求量逐步增大时触发过载保护返回 503，但是IOS终端逻辑对503返回码会进行重试
导致服务已经过载情况下继续承受更高的重试请求量，从而更[……]