0

kafka-eagle部署

发表者:admin分类:大数据2021-02-22 11:22:42 阅读[57]
1.环境准备 主机名 IP地址 CPU 内存 硬盘 gztxy-prd-kafka-eagle01 192.168.1.11 2 4 100G 回到顶部 2.安装并配置 安装: 1 2 3 4 5 6 7 ...
一款软件几乎可以操作所有的数据库DBeaver 简介 DBeaver是一个基于 Java 开发,免费开源的通用数据库管理和开发工具,使用非常友好的 ASL 协议。可以通过官方网站或者 Github 进行下载。 由于 DBeaver 基于 Java 开发,可以运行在各种操作系统上,包括:Windows、Linux、macOS 等。DBeaver 采用 Eclipse 框架开发, 支持插件扩展,并且提供了许多数据库管理工具:ER 图、数据导入/导出、数据库比较、模拟数据生成等。 DBeaver 通过 JDBC 连接到数据库,可以支持几乎所有的数据库产品,包括:MySQL、PostgreSQL、MariaDB、SQLite、Oracle、Db2、 SQL Server、Sybase、MS Access、Teradata、Firebird、Derby 等等。 商业版本更是可以支持各种 NoSQL 和大数据平台:MongoDB、InfluxDB、Apache Cassandra、Redis、Apache Hive 等。 下载与安装 DBeaver 社区版可以通过官方网站或者 Github 进行下载。两者都为不同的操作系统提供了安装包或者解压版,可以选择是否需要同时安装 JRE。 另外,官方网站还提供了 DBeaver 的 Eclipse 插件,可以在 Eclipse 中进行集成。 DBeaver 支持中文,安装过程非常简单,不多说,唯一需要注意的是 DBeaver 的运行...
Tableau 概述 作为领先的数据可视化工具,Tableau具有许多理想的和独特的功能。其强大的数据发现和探索应用程序允许您在几秒钟内回答重要的问题。您可以使用Tableau的拖放界面可视化任何数据,探索不同的视图,甚至可以轻松地将多个数据库组合在一起。它不需要任何复杂的脚本。任何理解业务问题的人都可以通过相关数据的可视化来解决。 分析完成后,与其他人共享就像发布到Tableau Server一样简单。Tableau功能Tableau为各种行业,部门和数据环境提供解决方案。以下是使tableau处理各种各样场景的独特功能。分析速度 - 由于它不需要高水平的编程专长,任何有权访问数据的计算机用户都可以开始使用它从数据中导出值。自我约束 - Tableau不需要复杂的软件设置。大多数用户使用的桌面版本很容易安装,并包含启动和完成数据分析所需的所有功能。视觉发现 - 用户使用视觉工具(如颜色,趋势线,图表和图表)来探索和分析数据。有很少的脚本要写,因为几乎一切都是通过拖放来完成的。混合不同的数据集 - Tableau允许您实时混合不同的关系,半结构化和原始数据源,而无需昂贵的前期集成成本。用户不需要知道数据存储的细节。体系结构无关 -...
 
0
1.配置文件(elasticsearch.yml)#ES集群名称,同一个集群内的所有节点集群名称必须保持一致 cluster.name: ES-Cluster ​ #ES集群内的节点名称,同一个集群内的节点名称要具备唯一性 ​node.name: ES-master-01 ​ #允许节点是否可以成为一个master节点,ES是默认集群中的第一台机器成为master,如果这台机器停止就会重新选举 node.master: true ​ #允许该节点存储索引数据(默认开启) node.data: true ​ #数据存储路径(path可以指定多个存储位置,分散存储,有助于性能提升) #目录还要对elasticsearch的运行用户有写入权限 path.data: /usr/local/elasticsearch-cluster/elasticsearch-a/data path.logs: /usr/local/elasticsearch-cluster/elasticsearch-a/logs ​ #在ES运行起来后锁定ES所能使用的堆内存大小,锁定内存大小一般为可用内存的一半左右;锁定内存后就不会使用交换分区 #如果不打开此项,当系统物理内存空间不足,ES将使用交换分区,ES如果使用交换分区,那么ES的性能将会变得很差 bootstrap.memory_lock: true ​ #es绑定地址,支持IPv4及IPv6,默认绑定127.0.0.1;es的HTTP端口和集群通信端口就会监听在此地址上 network.host: 192....
前言 前面介绍了es7相关的一些用法。这一节我们来实践下集群高可用搭建,以及账号权限的配置。之前看了很多博主介绍的都是从主模式,主节点挂了集群也就不能对外服务了。 目前使用的最新版本7.6.0。账号配置需要破解x-pack包。(如果不需要设置密码可以忽略) 配置 集群间证书认证 不需要用户权限配置可以忽略。 ## 在 $ES_HOME 目录下执行 bin/elasticsearch-certutil ca ## 直接回车默认是生成文件 elastic-stack-ca.p12 Please enter the desired output file [elastic-stack-ca.p12]: ... # 生成 elastic-stack-ca.p12后,执行命令elasticsearch-certutil bin/elasticsearch-certutil cert --ca $ES_HOME/elastic-stack-ca.p12 ... # 直接回车生成elastic-certificates.p12文件 # 然后将生成的文件拷贝到各个节点的config下 elasticsearch.yml 主节点: # 集群名称 cluster.name: "es_cluster" # 节点名称 master1 node.name: master1 # 是否可以成为master节点 node.master: true # 是否允许该节点存储数据,默认开启 node.data: true # 网络绑定,这里我绑定 0.0.0.0,支持外网访问 network.host: ["0.0.0.0"] # 设置对外服务...
HCIA-Big Data V3.0介绍: 本系列共14课内容,其中第1-8课、第10、12课由重庆邮电大学副教授雷大江老师讲解,剩余4课由华为认证大数据讲师讲解。 内容按顺序依次是:大数据发展趋势与鲲鹏大数据,HDFS和ZooKeeper,Hive分布式数据仓库,HBase、MapReduce和Yarn技术原理,Spark基于内存的分布式计算,Flink流批一体分布式实时处理引擎,Flume海量日志聚合,Loader数据转换,Kafka分布式消息订阅系统,LDAP Kerberos,分布式全文检索服务ElasticSearch,Redis内存数据库,华为大数据解决方案。 因该系列主要讲解常用的大数据组件基础技术,各课程之前基本相互独立,故你可以选择按顺序进行学习,也可以按照自己对各部分内容的熟悉程度,进行课程选择学习。
国内下载elasticsearch和kibana,ELK,EFK镜像发现华为云有一个好用的国内镜像https://mirrors.huaweicloud.com/elasticsearch/7.6.2/https://mirrors.huaweicloud.com/kibana/7.6.2/亲测下载速度非常快需要不同版本只需将上面url后面的版本替换即可
Centos安装filebeat将nginx日志推送给EFK(ELK) 1,根据kibana面板的向导-添加日志数据。 2,选择  Nginx 日志 , 会有以下提示。 3,根据提示,我这里安装nginx的是Centos6系统,安装filebeat日志采集软件。 4,配置/etc/filebeat/filebeat.yml 文件,由于我是在k8s环境中安装的EFK集群,没有使用nodeport,使用的ingress, 所以我在配置文件中host都是使用的域名加端口。EFK集群可以识别出来。 5,配置filebeat nginx 模块。     启用和配置 nginx 模块   filebeat modules enable nginx filebeat modules list #查看哪些模块开启 在 /etc/filebeat/modules.d/nginx.yml 文件中修改设置如下: ...
    总共8页,当前第7页 | 页数:
  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8