参照Elasticsearch 单节点配置,准备好配置环境 1、elasticsearch.yml配置: node.name区别:elastic_node1、 elastic_node2、 elastic_node3 cluster.name: elastic_cluster node.name: elastic_node1 node.master: truenode.data: true #path.data: /usr/local/elastic_node1/data#path.logs: /usr/local/elastic_node1/logs bootstrap.memory_lock: true network.host: 127.0.0.1network.tcp.no_delay: truenetwork.tcp.keep_alive: truenetwork.tcp.reuse_address: truenetwork.tcp.send_buffer_size: 256mbnetwork.tcp.receive_buffer_size: 256mb transport.tcp.port: 9301transport.tcp.compress: true http.max_content_length: 200mbhttp.cors.enabled: truehttp.cors.allow-origin: "*"http.port: 9201 discovery.seed_hosts: ["127.0.0.1:9301","127.0.0.1:9302","127.0.0.1:9303"]cluster.initial_master_nodes: ["127.0.0.1:9301","127.0.0.1:9302","127.0.0.1:9303"]cluster.fault_detection.leader_check.interval: 15sdiscovery.cluster_forma...
Cerebro是一个开源的elasticsearch web管理工具 首先,下载Elasticsearch https://www.elastic.co/guide/en/elasticsearch/reference/7.7/index.html 然后,下载Cerebro https://github.com/lmenezes/cerebro 分别启动以后,输入es连接地址,然后就可以操作了,非常简洁的web客户端工具  
 
0

关于Filebeat模块与配置

发表者:admin分类:大数据2021-02-22 11:31:22 阅读[50]
1.  关于Filebeat 当你要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时,请告别 SSH 吧!Filebeat 将为你提供一种轻量型方法,用于转发和汇总日志与文件,让简单的事情不再繁杂。 关于Filebeat,记住两点: 轻量级日志采集器 输送至 Elasticsearch 或 Logstash,在 Kibana 中实现可视化   2.  Filebeat是如何工作的 Filebeat由两个主要组件组成:inputs 和  harvesters (直译:收割机,采集器)。这些组件一起工作以跟踪文件,并将事件数据发送到你指定的输出。 2.1.  harvester是什么 一个harvester负责读取一个单个文件的内容。 harvester逐行读取每个文件(一行一行地读取每个文件),并把这些内容发送到输出。 每个文件启动一个harvester。 harvester负责打开和关闭这个文件,这就意味着在harvester运行时文件描述符保持打开状态。 在harvester正在读取文件内容的时候,文件被删除或者重命名了,那么Filebeat会续读这个文件。这就有一个问题了,就是只要负责这个文件的harvester没用关闭,那么...
ElasticSearch可视化工具 1 ElasticHD 1.0 下载 传送门:https://github.com/360EntSecGroup-Skylar/ElasticHD/releases根据机器环境选择对应的版本.如Linux,选择:elasticHD_linux_amd64.zip 1.2 解压 unzip elasticHD_linux_amd64.zip -d /path/to/ES 1.3 添加文件读写权限 sudo chmod 777 ElasticHD 1.4 运行 # 进入ES文件夹 cd path/to/ES # 执行文件 exec ./ElasticHD -p 127.0.0.1:9800 # 或者这样执行 ./ElasticHD -p 127.0.0.1:9800 To view elasticHD console open http://127.0.0.1:9800 in browser 图 ElasticHD首页信息 2 Kibana 2.1 下载 传送门:https://www.elastic.co/cn/downloads/past-releases#kibana选择需要的版本. 2.2 安装 tar -zxvf kibana-6.3.0-linux-x86_64.tar.gz -C /usr/kibana 2.3 配置 cd /usr/kibana/kibana-6.3.0-linux-x86_64/config vim kibana.yml # kib...
 
0

Hadoop2.9.0安装

发表者:admin分类:大数据2021-02-22 11:29:12 阅读[38]
Hadoop2.9.0安装 参考 https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 1、下载并解压 2、设置环境变量 3、修改hadoop-env.sh 4、修改core-site.xml 5、修改hdfs-site.xml 6、启动  
 
0

Hive安装

发表者:admin分类:大数据2021-02-22 11:23:24 阅读[45]
Hive安装 https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-SimpleExampleUseCases 解压,并配置环境变量 在conf目录下新建一个hive-site.xml文件,配置如下 将mysql-connector-java-5.1.38.jar拷贝到$HIVE_HOME/lib目录下 在HDFS上创建相应目录 初始化 此时再查看mysql数据库 启动hive 在hive中创建一个数据进行测试一下  
 
0

kafka-eagle部署

发表者:admin分类:大数据2021-02-22 11:22:42 阅读[40]
1.环境准备 主机名 IP地址 CPU 内存 硬盘 gztxy-prd-kafka-eagle01 192.168.1.11 2 4 100G 回到顶部 2.安装并配置 安装: 1 2 3 4 5 6 7 ...
一款软件几乎可以操作所有的数据库DBeaver 简介 DBeaver是一个基于 Java 开发,免费开源的通用数据库管理和开发工具,使用非常友好的 ASL 协议。可以通过官方网站或者 Github 进行下载。 由于 DBeaver 基于 Java 开发,可以运行在各种操作系统上,包括:Windows、Linux、macOS 等。DBeaver 采用 Eclipse 框架开发, 支持插件扩展,并且提供了许多数据库管理工具:ER 图、数据导入/导出、数据库比较、模拟数据生成等。 DBeaver 通过 JDBC 连接到数据库,可以支持几乎所有的数据库产品,包括:MySQL、PostgreSQL、MariaDB、SQLite、Oracle、Db2、 SQL Server、Sybase、MS Access、Teradata、Firebird、Derby 等等。 商业版本更是可以支持各种 NoSQL 和大数据平台:MongoDB、InfluxDB、Apache Cassandra、Redis、Apache Hive 等。 下载与安装 DBeaver 社区版可以通过官方网站或者 Github 进行下载。两者都为不同的操作系统提供了安装包或者解压版,可以选择是否需要同时安装 JRE。 另外,官方网站还提供了 DBeaver 的 Eclipse 插件,可以在 Eclipse 中进行集成。 DBeaver 支持中文,安装过程非常简单,不多说,唯一需要注意的是 DBeaver 的运行...
    总共7页,当前第6页 | 页数:
  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7