ElasticSearch 导入mysql数据
做一个项目需要实现mysql的数据导入到 es 中去，参考来诸多方案，之前是想着使用，ingest node 来进行 pipeline 的数据处理。但是ingest 不支持 jdbc。无法实现。考虑到数据不需要进行强同步，且数据单向的流动。 所以综上使用 Lo… 阅读更多 »ElasticSearch 导入mysql数据
admin
ElasticSearch 索引重命名
对于已存在索引的索引需要更名的时候的操作。 由于elasticsearch 不支持直接的索引改名，所以在改名的时候主要进行索引内容的拷贝，之后再删除原索引来实现重命名。 在控制台执行命令如下： POST /_reindex { "source&quo… 阅读更多 »ElasticSearch 索引重命名
使用netcat命令在两台Linux系统之间复制目录
我们知道可以是用那个scp命令来在两个系统之间复制文件， 实际上netcat命令也是可以的，使用最简单的方法来传输基本的字节流来实现文件传输的功能。 先要netcat这个工具，centos下面的话使用yum安装 yum install nc 接受文件的电脑使用… 阅读更多 »使用netcat命令在两台Linux系统之间复制目录
vnpy 123–跑起来一个最简单的量化交易的程式
上周使用了掘金的平台来跑起来一个简单的无脑买nasdaq 的协议。 但是掘金本身是一个闭源的平台，在交易品种上面远远不比不上开源平台的vnpy 另外，vn的论坛是很活跃的所以在这里就想对vn的平台来进行探索。 准备实现最简单的交易策略，以及实现vn平台的搬转套… 阅读更多 »vnpy 123–跑起来一个最简单的量化交易的程式
量化交易 123 —- 使用 掘金量化平台 来进行一次基础的回测
量化交易是指以先进的数学模型替代人为的主观判断，利用计算机技术从庞大的历史数据中海选能带来超额收益的多种“大概率”事件以制定策略，极大地减少了投资者情绪波动的影响，避免在市场极度狂热或悲观的情况下作出非理性的投资决策。 前面的话 量化交易，又名程序交易。为了防… 阅读更多 »量化交易 123 —- 使用 掘金量化平台 来进行一次基础的回测
家庭网络的公网访问
从这篇开始，我的文章需要写的尽可能的明了一些，在给自己带来记录价值的时候。也希望能被更多的人，看到和学习。 通过一步步的实践，来巩固自己的理论基础。也是写这篇文章的初衷。 基本架构 这里的架构是两层架构。 公有云上的服务器提供公网的接入 自家的一台服务器提供服… 阅读更多 »家庭网络的公网访问
Logstash 日志grok解析以及主键更新
工作时候遇到了日志解析入库的配置，过程不复杂但是很经典，这里记录一下 Logstash 的日志解析的配置过程，以及设计到的主键的替换。 Grok 原始日志处理 原始日志的内容如下面给出： [error][2020-08-07T00:00:24.520Z] re… 阅读更多 »Logstash 日志grok解析以及主键更新
博客迁移之路–DB的去Docker化
之前本站的是使用纯Docker 来进行部署。每一个博客的实例都会跑起来一个Mysql实例，但是服务器本身的规格很低只有1C1G。所以导致了有大量的数据被置换到了 Swap 里面，每当有请求的时候load都会大幅上升，导致了整机的卡顿。 所以本篇的目的，就是记录… 阅读更多 »博客迁移之路–DB的去Docker化
Traefik-Ingress 初步实践记录
在之前的K3S的配置的部分，有一个很诡异的问题就是，80和443 的端口的路由是直接走到了ingress层上面去，导致 nginx 的80端口的规则被 overwrite掉了。 但是ingress 是整个容器集群十分重要的一环。是连接容器内外网络的重要部分。 … 阅读更多 »Traefik-Ingress 初步实践记录
K3S 部署记录 — 集群&监控&K9S
之前辛辛苦苦折腾的 K8S 集群由于是在是太重了，感觉没有很好的运营起来，导致被最后一堆交错的问题劝退。 后面偶尔看到了 K3S这个东西，自己孤陋寡闻，以为又是国人搞得什么山寨项目（笑） 后面偶然机会去仔细看了下，发现真是个好东西，对K8S基本能做到全部兼容，… 阅读更多 »K3S 部署记录 — 集群&监控&K9S