filebeat采集一台服务器中的不同日志,并将日志放到ES中的不同索引中filebeat.inputs:- type: log  enabled: true  paths:    - /usr/local/tomcat/apache-tomcat-8.5.53/logs/catalina.out  tags: ["tomcat"]  fields:    index: "tomcat"- type: log  enabled: true  paths:    - /usr/local/apollo/apollo-adminservice.log  tags: ["apollo-adminservice"]  fields:    index: "apollo_admin"- type: log  enabled: true  paths:    - /usr/local/apollo/apollo-configservice.log  tags: ["apollo-configservice"]  fields:    index: "apollo_conf"output.elasticsearch: #指定ES的配置  hosts: ["192.168.20.248:9200"]  indices:    - index: "filebeat-java-1-tomcat-%{+YYYY-MM}"      when.contains:        fields:          index: "tomcat"  &...
filebeat+kafka+logstash收集日志到es使用kibana展示实现逻辑filebeat    ==>>    kafka    <<==    logstash    ==>>    elastsearch   <==    kibana 1. filebeat配置filebeat.inputs: - type: log enabled: true paths: - /var/log/messages fields: log_topic: test_kafka filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: false setup.template.settings: index.number_of_shards: 3 output.kafka: enable: true hosts: ["log1:9092"] version: "2.0.0" topic: '%{[fields.log_topic]}' partition.round_robin: reachable_only: true worker: 1 required_acks: 1 compression: gzip compression_level: 4 max_message_bytes: 10000000 processors: - drop_fields: fields: - beat - host - input - source - offset - prospector启动服务 2. logstash配置:input { kafka...
 
0

kafka2.0.1集群部署

发表者:admin分类:大数据2021-04-15 09:36:19 阅读[8]
kafka2.0.1集群部署1.下载安装: wget https://archive.apache.org/dist/kafka/2.0.1/kafka_2.12-2.0.1.tgz tar xf kafka_2.12-2.0.1.tgz mv kafka_2.12-2.0.1 /usr/local/kafka 2.配置zookeeper:可参考https://soulchild.cn/1663.html/usr/local/kafka/config/zookeeper.properties3. 创建 /tmp/zookeeper/myid文件echo 1 > /tmp/zookeeper/myid4. 启动zookeepercd /usr/local/kafka/bin ./zookeeper-server-start.sh -daemon ../config/zookeeper.properties 5.配置kafka:文件路径:/usr/local/kafka/config/server.properties修改配置文件:#kafka集群的唯一标识,在改变IP地址,不改变broker.id的话不会影响消费者。 #Kafka在启动时会在zookeeper中/brokers/ids路径下创建一个以broker的id为名称的虚节点,Kafka的健康状态检查就依赖于此节点。 #当broker下线时,该虚节点会自动删除,其他broker或者客户端通过判断/brokers/ids路径下是否有此broker的id来确定该broker的健康状态。 broker.id=0 #配置监听地址和端口,listener_name://host_name:port listeners=PLAINTEXT://elk1:9092 #topic不存在时,是否自动创建topic auto.c...
 
0

hadoop3.2.1集群部署

发表者:admin分类:大数据2021-04-15 09:30:02 阅读[11]
hadoop3.2.1集群部署HDFS的守护进程分别是NameNode, SecondaryNameNode,DataNode.YARN的守护进程分别是ResourceManager, NodeManager,WebAppProxy.一、安装前准备:主机名IP角色hadoop-0110.0.0.150namenode、datanode、resourcemanager、nodemanagerhadoop-0210.0.0.151datanode、nodemanagerhadoop-0310.0.0.152datanode、nodemanager1.hosts解析:三台机器配置cat >> /etc/hosts <<EOF 10.0.0.150 hadoop-01 10.0.0.151 hadoop-02 10.0.0.152 hadoop-03 EOF2.配置免密登陆# 创建用户 useradd hadoop su hadoop ssh-keygen -P '' -t rsa -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> authorized_keys chmod 600 ~/.ssh/authorized_keys # 发送配置到其他机器 for i in {151..152};do scp -rp ~/.ssh/ root@10.0.0.$i:/home/hadoop/;done for i in {151..152};do ssh root@10.0.0.$i chown -R hadoop:hadoop /home/hadoop/;done3.准备安装包:三台机器配置mkdir /server/packages -p cd /server/packages [root@hadoop-01 packages]# ls /server/packages/ hadoop-3.2.1.tar.gz jdk-8u221-linux-x64.tar.gz # 发送软件包到其他...
转载自:https://elasticstack.blog.csdn.net/article/details/114639152MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。Elasticsearch 是一个高效强大的大数据搜索引擎。它的 Speed, Scale 及 Relevance 是很多数据库不具有的。通过 Elasticsearch 的高效搜索引擎,我们可以快速地搜索相关的内容,我们也可以使用 Kibana 所提供的可视化为数据提供洞察。在今天的文章中,我将介绍如何把 MongoDB 里的数据同步到 Elasticsearch。如果你对 JDBC 的数据同步到 Elasticsearch,请参阅我之前的文章 “Logstash:如何使用 Logstash 和 JDBC 确保 Elasticsearch 与关系型数据库保持同步”。 在今天的练习中,我将使用如下的系统结构: 在上面的系统中,我有三个机器:两个运行 Ubuntu OS 20.04 及一个运行 MacOS 的电脑。在两个 Ubuntu OS 上分别运行 MongoDB,而在 MacOS 上运行有 Elasticsearch 及 Kibana,同时我们还在它上面运行了一个 docker。在 docker 里运行 Monstache。Monstache 是一个...
为elastic docker部署配置安全权限设置文章转载自:https://elasticstack.blog.csdn.net/article/details/105710973创建docker-compose.yml在之前的教程中,那里使用的docker-compose.yml文件没有配置安全。我们需要重新修改:docker-compose.ymlversion: '3.0' services: es01: image: docker.elastic.co/elasticsearch/elasticsearch:${ELASTIC_STACK_VERSION} container_name: es01 environment: - node.name=es01 - discovery.seed_hosts=es02 - cluster.initial_master_nodes=es01,es02 - cluster.name=docker-cluster - bootstrap.memory_lock=true - "ES_JAVA_OPTS=-Xms512m -Xmx512m" - xpack.security.enabled=true - xpack.security.transport.ssl.enabled=true - xpack.security.transport.ssl.keystore.type=PKCS12 - xpack.security.transport.ssl.verification_mode=certificate - xpack.security.transport.ssl.keystore.path=elastic-stack-ca.p12 - xpack.security.transport.ssl.truststore.path=elastic-stack-ca.p12 - xpack....
elasticsearch的index索引配置与修改1、索引设置的查看查看索引的设置通过_settings API,使用GET方法操作。1.1、查看单个索引的设置查看索引new_index的设置,操作如下:GET /new_index/_settings响应如下:{  "new_index" : {    "settings" : {      "index" : {        "creation_date" : "1556890383056",        "number_of_shards" : "1",        "number_of_replicas" : "1",        "uuid" : "zzlhCATaSimuyTHerRKjqA",        "version" : {          "created" : "7000099"        },        "provided_name" : "new_index"      }    }  }}响应的信息包括了索引的创建日期、主分片数和副本数、uuid等信息。1.2、查看多个索引的信息多个索引的信息,...
黑马关于elasticstack6视频讲义资料PDFPDF资料下载
    总共6页,当前第1页 | 页数:
  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6