filebeat7.10+logstash7.10+Elastic7.10+kibana7.10收集centos系统ssh日志IP并将IP地图化展示 1,配置信息如下: IP 系统 JDK Eastic Filebeat logstash Kibana 192.168.137.30 Centos7 openjdk-11 elastic7.10 ------ logstash7.10 Kibana7.10 192.168.137.26 Centos7 openjdk-11 ...
ES7+kibana7解决geoip的location不为geo_point格式,无法建可视化地图 by: 铁乐猫   环境: ELK各组件均为7.0版本 出现问题的索引名称为tielemao_web_log* 问题: 使用了geoip插件,入库的索引中location仍不是geo_point格式,以致想做地图经纬度的展示时做不了。 原因: 默认的log_template模板中没有任何匹配。 解决办法: 新建索引模板,设置匹配成geo_point,且优先度调高。 另外为防以后新项目入log重新碰到这个问题,将默认的log_template模板也加上geo_point的相关设置。 以下方法索引模板是旧版本的,可以直接在kibana中建新版本的索引模板。 默认索引模板添加geoip映射 ...
filebeat7.10+logstash7.10+Elastic7.10+kibana7.10收集centos系统ssh日志 配置信息如下: IP 系统 JDK Eastic Filebeat logstash Kibana 192.168.137.30 Centos7 openjdk-11 elastic7.10 ------ logstash7.10 Kibana7.10 192.168.137.26 Centos7 openjdk-11 elastic7.10 ...
Azkaban 看这一篇就够了!任务调度平台的搭建,使用,以及API开发当你的才华还撑不起你的野心时,那你就应该静下心来学习。每次脑子都会有很多想法,每次做了之后,还是觉得需要沉淀下来提升自己更加重要。著名的红叶子理论:一个人职业的成功不在于红叶子的数目多少,而在于他是否具备一片特别硕大的红叶子,这片特别硕大的红叶子不是与生俱来,需要个人的不断努力,准确地识别到最适合发展的红叶子。目录大纲0 写在前面的话1.1 初识Azkaban1.2 为什么需要任务调度器1.3 常见几种任务调度器1.4 Azkaban和Hadoop的关系1.5 Azkaban 底层原理2 Azkaban任务调度平台搭建3 Azkaban Web可视化平台详细介绍以及使用4 Azkaban API 功能预览4.1 对接Azkaban,进行二次开发,使其嵌入到系统中5 平台搭建中的问题总结1.1 初识Azkaban起源:Linkedin开源的一个批量工作流调度器特征:一个工作流内,多个作业可以按照特定的顺序执行依赖关系:作业之间的顺序关系依靠key-value的形式来建立依赖关系可视界面:提供可视化web界面1.2 为什么需要任务调度器定时任务的出现,可谓大大提高了工作效率。最简单的定时任务,就是你手机的闹钟,你给它一个定时任务,到了指定时间它就叫醒你。程序当...
grok语法过滤Centos7 ssh登陆日志方法日志内容如下:Apr 19 16:09:30 92-com sshd[2749]: Did not receive identification string from 101.200.56.162 port 53456Apr 19 16:10:26 92-com sshd[2756]: Bad protocol version identification 'GET /console/login/LoginForm.jsp HTTP/1.1' from 101.200.56.162 port 42608Apr 19 17:07:05 92-com sshd[2852]: Accepted password for tt from 211.137.70.64 port 7182 ssh2过滤语法:%{MONTH:yuefen} %{MONTHDAY:riqi} %{TIME:shijian} %{HOSTNAME:zhoujiming} .* %{IPV4:remoteip} .* 过滤后数据如下:{ "yuefen": [ [ "Apr" ] ], "riqi": [ [ "19" ] ], "shijian": [ [ "08:41:40" ] ], "HOUR": [ [ "08" ] ], "MINUTE": [ [ "41" ] ], "SECOND": [ [ "40" ] ], "zhoujiming": [ [ "92-com" ] ...
filebeat配置多日志并输出到elastic不同index索引filebeat将 /var/log/secure与httpd的日志内容输出到ealsticsearch7.11.2的不同索引。filebeat.inputs: - type: log   enabled: true   paths:     - /var/log/secure   include_lines: ['sshd', 'sudo']   tags:     ["secure-log"]   #自定义标签字段   fields:     index: "ssh" - type: log   enabled: true   paths:     - /www/wwwlogs/httpd-ssl_access_log#   include_lines: ['sshd', 'sudo']   tags:     ["httpd-log"]     #自定义标签字段   fields:     index: "httpd"setup.template.settings:  index.number_of_shards: 1# output.console:# pretty: true# enable: trueoutput.elasticsearch:    #指定ES的配置,并指定不同的索引  hosts: ["127.0.0.1"]  username: "elastic"&...
filebeat采集一台服务器中的不同日志,并将日志放到ES中的不同索引中filebeat.inputs:- type: log  enabled: true  paths:    - /usr/local/tomcat/apache-tomcat-8.5.53/logs/catalina.out  tags: ["tomcat"]  fields:    index: "tomcat"- type: log  enabled: true  paths:    - /usr/local/apollo/apollo-adminservice.log  tags: ["apollo-adminservice"]  fields:    index: "apollo_admin"- type: log  enabled: true  paths:    - /usr/local/apollo/apollo-configservice.log  tags: ["apollo-configservice"]  fields:    index: "apollo_conf"output.elasticsearch: #指定ES的配置  hosts: ["192.168.20.248:9200"]  indices:    - index: "filebeat-java-1-tomcat-%{+YYYY-MM}"      when.contains:        fields:          index: "tomcat"  &...
filebeat+kafka+logstash收集日志到es使用kibana展示实现逻辑filebeat    ==>>    kafka    <<==    logstash    ==>>    elastsearch   <==    kibana 1. filebeat配置filebeat.inputs: - type: log enabled: true paths: - /var/log/messages fields: log_topic: test_kafka filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: false setup.template.settings: index.number_of_shards: 3 output.kafka: enable: true hosts: ["log1:9092"] version: "2.0.0" topic: '%{[fields.log_topic]}' partition.round_robin: reachable_only: true worker: 1 required_acks: 1 compression: gzip compression_level: 4 max_message_bytes: 10000000 processors: - drop_fields: fields: - beat - host - input - source - offset - prospector启动服务 2. logstash配置:input { kafka...
    总共7页,当前第2页 | 页数:
  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7