工作时候遇到了日志解析入库的配置,过程不复杂但是很经典,这里记录一下 Logstash 的日志解析的配置过程,以及设计到的主键的替换。
Grok 原始日志处理
原始日志的内容如下面给出:
[error][2020-08-07T00:00:24.520Z] responseError:{"m[......]
工作时候遇到了日志解析入库的配置,过程不复杂但是很经典,这里记录一下 Logstash 的日志解析的配置过程,以及设计到的主键的替换。
原始日志的内容如下面给出:
[error][2020-08-07T00:00:24.520Z] responseError:{"m[......]
因为es是使用的局域网环境,所以就打算直接监听0.0.0.0
这样内网的服务都可以访问到它。
但是在设置network.host: 0.0.0.0
这一参数之后,发现没有9200端口的监听了。
最后结合着日志和部分现有的方法解决这个问题。遂在这里记下来。
[……]
又有接触到新的东西还是蛮开心的,这次整上的开源组件是Kafka。读音卡夫卡。
一眼看起来,是一个高端玩意,刚刚接触的时候有些害怕自己驾驭不住,后面发现,还行,简单好用。
所以这篇文章,就来介绍一下卡夫卡,以及简简单单的进行一个指北。
[……]