0

kafka2.0.1集群部署

发表者:admin分类:大数据2021-04-15 09:36:19 阅读[59]
kafka2.0.1集群部署1.下载安装: wget https://archive.apache.org/dist/kafka/2.0.1/kafka_2.12-2.0.1.tgz tar xf kafka_2.12-2.0.1.tgz mv kafka_2.12-2.0.1 /usr/local/kafka 2.配置zookeeper:可参考https://soulchild.cn/1663.html/usr/local/kafka/config/zookeeper.properties3. 创建 /tmp/zookeeper/myid文件echo 1 > /tmp/zookeeper/myid4. 启动zookeepercd /usr/local/kafka/bin ./zookeeper-server-start.sh -daemon ../config/zookeeper.properties 5.配置kafka:文件路径:/usr/local/kafka/config/server.properties修改配置文件:#kafka集群的唯一标识,在改变IP地址,不改变broker.id的话不会影响消费者。 #Kafka在启动时会在zookeeper中/brokers/ids路径下创建一个以broker的id为名称的虚节点,Kafka的健康状态检查就依赖于此节点。 #当broker下线时,该虚节点会自动删除,其他broker或者客户端通过判断/brokers/ids路径下是否有此broker的id来确定该broker的健康状态。 broker.id=0 #配置监听地址和端口,listener_name://host_name:port listeners=PLAINTEXT://elk1:9092 #topic不存在时,是否自动创建topic auto.c...
 
0

hadoop3.2.1集群部署

发表者:admin分类:大数据2021-04-15 09:30:02 阅读[47]
hadoop3.2.1集群部署HDFS的守护进程分别是NameNode, SecondaryNameNode,DataNode.YARN的守护进程分别是ResourceManager, NodeManager,WebAppProxy.一、安装前准备:主机名IP角色hadoop-0110.0.0.150namenode、datanode、resourcemanager、nodemanagerhadoop-0210.0.0.151datanode、nodemanagerhadoop-0310.0.0.152datanode、nodemanager1.hosts解析:三台机器配置cat >> /etc/hosts <<EOF 10.0.0.150 hadoop-01 10.0.0.151 hadoop-02 10.0.0.152 hadoop-03 EOF2.配置免密登陆# 创建用户 useradd hadoop su hadoop ssh-keygen -P '' -t rsa -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> authorized_keys chmod 600 ~/.ssh/authorized_keys # 发送配置到其他机器 for i in {151..152};do scp -rp ~/.ssh/ root@10.0.0.$i:/home/hadoop/;done for i in {151..152};do ssh root@10.0.0.$i chown -R hadoop:hadoop /home/hadoop/;done3.准备安装包:三台机器配置mkdir /server/packages -p cd /server/packages [root@hadoop-01 packages]# ls /server/packages/ hadoop-3.2.1.tar.gz jdk-8u221-linux-x64.tar.gz # 发送软件包到其他...
转载自:https://elasticstack.blog.csdn.net/article/details/114639152MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。Elasticsearch 是一个高效强大的大数据搜索引擎。它的 Speed, Scale 及 Relevance 是很多数据库不具有的。通过 Elasticsearch 的高效搜索引擎,我们可以快速地搜索相关的内容,我们也可以使用 Kibana 所提供的可视化为数据提供洞察。在今天的文章中,我将介绍如何把 MongoDB 里的数据同步到 Elasticsearch。如果你对 JDBC 的数据同步到 Elasticsearch,请参阅我之前的文章 “Logstash:如何使用 Logstash 和 JDBC 确保 Elasticsearch 与关系型数据库保持同步”。 在今天的练习中,我将使用如下的系统结构: 在上面的系统中,我有三个机器:两个运行 Ubuntu OS 20.04 及一个运行 MacOS 的电脑。在两个 Ubuntu OS 上分别运行 MongoDB,而在 MacOS 上运行有 Elasticsearch 及 Kibana,同时我们还在它上面运行了一个 docker。在 docker 里运行 Monstache。Monstache 是一个...
为elastic docker部署配置安全权限设置文章转载自:https://elasticstack.blog.csdn.net/article/details/105710973创建docker-compose.yml在之前的教程中,那里使用的docker-compose.yml文件没有配置安全。我们需要重新修改:docker-compose.ymlversion: '3.0' services: es01: image: docker.elastic.co/elasticsearch/elasticsearch:${ELASTIC_STACK_VERSION} container_name: es01 environment: - node.name=es01 - discovery.seed_hosts=es02 - cluster.initial_master_nodes=es01,es02 - cluster.name=docker-cluster - bootstrap.memory_lock=true - "ES_JAVA_OPTS=-Xms512m -Xmx512m" - xpack.security.enabled=true - xpack.security.transport.ssl.enabled=true - xpack.security.transport.ssl.keystore.type=PKCS12 - xpack.security.transport.ssl.verification_mode=certificate - xpack.security.transport.ssl.keystore.path=elastic-stack-ca.p12 - xpack.security.transport.ssl.truststore.path=elastic-stack-ca.p12 - xpack....
elasticsearch的index索引配置与修改1、索引设置的查看查看索引的设置通过_settings API,使用GET方法操作。1.1、查看单个索引的设置查看索引new_index的设置,操作如下:GET /new_index/_settings响应如下:{  "new_index" : {    "settings" : {      "index" : {        "creation_date" : "1556890383056",        "number_of_shards" : "1",        "number_of_replicas" : "1",        "uuid" : "zzlhCATaSimuyTHerRKjqA",        "version" : {          "created" : "7000099"        },        "provided_name" : "new_index"      }    }  }}响应的信息包括了索引的创建日期、主分片数和副本数、uuid等信息。1.2、查看多个索引的信息多个索引的信息,...
黑马关于elasticstack6视频讲义资料PDFPDF资料下载
elastic stack7.10新建索引并添加映射mappings信息。如下:PUT /it{ "settings": { "index": { "number_of_shards": "2", "number_of_replicas": "1" } }, "mappings": { "properties": { "name": { "type": "text" }, "age": { "type": "integer" }, "mai1": { "type": "keyword" }, "hobby": { "type": "text" } } }}rest接口返回信息如下:{ "acknowledged": true, "shards_acknowledged": true, "index": "idd"}表明索引创建完成.查看索引信息如下:GET /it/{ "idd": { "aliases": {}, "mappings": { "properties": { "age": { "type": "integer" }, "hobby": { "type": "text" }, "mai1": { "type": "keywo...
       elasticsearch7.8权限控制和规划 目录 一、集群权限配置 二、用户和角色管理 2.1、Security privileges(权限管理) 2.2、role(角色)介绍和操作 2.3、user(用户)介绍和操作  三、简单权限规划   由于在版本7开始,x-pack可以免费使用了,但是权限控制免费的不够细,但是控制到索引级别都基本够用了。付费的可以体验更细致的权限控制。本文的基础是已经有了es集群的基础上...
    总共7页,当前第3页 | 页数:
  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7