记录关于系统运维,虚拟化云计算,数据库,网络安全等各方面问题,
 
0
Kubernetes备份和恢复文章主要参考https://yq.aliyun.com/articles/336781?spm=a2c4e.11153940.blogcont561894.22.11337fffUWosVP把主要步骤做个记录 备份etcd数据首先由于ETCD有三个备份,并且会同步,所以您只需要在一台master机器上执行ETCD备份即可。另外在运行下列命令前,确保当前机器的kube-apiserver是运行的。ps -ef|grep kube-apiserver root 2063 2047 1 1月05 ? 00:41:01 kube-apiserver 执行备份export ETCD_SERVERS=$(ps -ef|grep apiserver|grep -Eo "etcd servers=.*2379"|awk -F= '{print $NF}') mkdir -p /var/lib/etcd_backup/ export ETCDCTL_API=3 etcdctl snapshot --endpoints=$ETCD_SERVERS --cacert=/var/lib/etcd/cert/ca.pem --cert=/var/lib/etcd/cert/etcd-client.pem --key=/var/lib/etcd/cert/etcd-client-key.pem save /var/lib/etcd_backup/backup_$(date "+%Y%m%d%H%M%S").db Snapshot saved at /var/lib/etcd_backup/backup_20180107172459.db 执行完成后,您可以在/var/lib/etcd_backup中找到备份的snapshot[root@iZwz95q64qi83o88y9lq4cZ etcd_backup]# cd /var/lib/etcd_backup/ [...
Elasticsearch:使用 Nginx 来保护 Elastic Stack 在我之前的文章 “反向代理及负载均衡在 Elasticsearch 中的应用” 中,我已经详述了如何使用 Nginx 来作为一个反向代理来访问 Elastic Stack。在今天的文章中,我将详述如何使用 Nginx 来保护 Elastic Stack。基于 Elastic Stack Basic 许可以上,我们都可以使用 Elastic Stack 所提供的安全方案来对 Elastic Stack 进行保护。针对 OSS 的用户来说,我们可以使用 Nginx 所提供的安全措施来对我们的 Elastic Stack 进行保护。 在本文中,我想解释一下如何实现保护 Elastic Stack 的一种更常见,更简单的方法-在 Elasticsearch 和 Kibana 的前面部署 nginx 作为反向代理。   在今天的实验中,我将使用一个 Ubuntu 20.04 的机器来做演示。   安装 Elastic Stack 针对我们的实验,我们需要安装 Elasticsearch 已经 Kibana。请参阅我之前的文章 “Elastic:菜鸟上手指南” 进行安装。我都使用默认的配置。等 Elasticsearch 以及 Kibana 都起来之后,我们可以看到如下的画面: Elasticsearch 运用于 localhost:9200 上,而 Kibana 运行于 localhost:5601 上。 Ngi...
 
0
Spark和Hadoop的区别和比较:1.原理比较:Hadoop和Spark都是并行计算,两者都是用MR模型进行计算Hadoop一个作业称为一个Job,Job里面分为Map Task和Reduce Task阶段,每个Task都在自己的进程中运行,当Task结束时,进程也会随之结束;Spark用户提交的任务称为application,一个application对应一个SparkContext,app中存在多个job,每触发一次action操作就会产生一个job。这些job可以并行或串行执行,每个job中有多个stage,stage是shuffle过程中DAGScheduler通过RDD之间的依赖关系划分job而来的,每个stage里面有多个task,组成taskset,由TaskScheduler分发到各个executor中执行;executor的生命周期是和app一样的,即使没有job运行也是存在的,所以task可以快速启动读取内存进行计算。2.数据的存储和处理:hadoop:Hadoop实质上更多是一个分布式系统基础架构: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储,同时还会索引和跟踪这些数据,大幅度提升大数据处理和分析效率。Hadoop 可以独立完成数据的存储和处理工作,因为其除了提供HDFS分布式数据存储功能,还提供MapReduce数据处理功能。spark:Spark 是一个专门用来对那些分布式存储的大数据进...
Centos7关于ElasticSearch7.4高可用集群版搭建 1.前置准备 若之前未了解过ElasticSearch的安装,在安装集群版之前,建议先了解一下单机版创建。集群版无非就是拷贝了几套单机版的安装包,配置稍加改。 单机版安装详细教程以及安装过程容易遇到的问题详见:ElasticSearch单机版安装 集群环境准备 IP 监听端口 主机名 系统 es实例名称 es版本 192.168.3.21 9201/9301 elastic CentOS 7 node-a 7.4.0 192.168.3.22 9201/9301 elastic CentOS 7 node-b 7.4.0 192.168.3.23 9201/9301 elastic CentOS 7 node-c 7.4.0 2.下载安装包 ...
Elasticsearch客户端WebUI工具之kibana 简介 Kibana 是用于Elasticsearch设计的开源分析和可视化平台。1 可以使用 Kibana 来搜索。 查看存储在 Elasticsearch 索引中的数据并与之交互。 可以实现高级的数据分析和可视化,以图表的形式展现出来。 使用前我们肯定需要先有Elasticsearch。 本文主要介绍Kibana的安装、常见可视化等操作,以及Elasticsearch控制台可以非常方便的来调用es的api,强烈推荐 2.下载安装包 官方最新版下载:传送门官方历史版本下载:传送门我这里选择的是7.4.0版本:传送门 命令下载wget https://artifacts.elastic.co/downloads/kibana/kibana-7.4.0-linux-x86_64.tar.gz 3.解压#解压到目录 tar -zxvf kibana-7.4.0-linux-x86_64.tar.gz -C /usr/local/cd /usr/local/ #重命名一下 mv kibana-7.4.0-linux-x86_64 /usr/local/kibana-7.4.0 #创建pid文件存储目录(默认:/var/run/kibana.pid) mkdir /usr/local/kibana-7.4.0/run 4.修改配...
Elasticsearch客户端工具之ES-Head 一.简介 Elasticsearch-Head是比较常用的Elasticsearch老牌客户端工具之一。 1.下载安装包 Github地址:传送门 这里下载release 版本wget https://github.com/mobz/elasticsearch-head/archive/v5.0.0.tar.gz 2.安装Node 需要依赖Node环境解压下载的es-head插件,cd到解压目录,下载nodejs,并安装:# node 安装版本10以上 curl --silent --location https://rpm.nodesource.com/setup_10.x | bash - # yum 按安装 node yum install -y nodejs 查看是否安装成功:node -v npm -v 3.安装相关依赖npm install -g grunt-cli npm install npm install grunt-contrib-jasmine 4.启动nohup grunt server 访问地址:http://IP:9100 二.Chrome浏览器插件 通过chrome安装插件的方式提供一个可操作es的图形化界面。在chrome 浏览器中,通过“扩展程序” 添加 elasticsearch head 插件的方式,这种方式无须开启 es的跨域访问。1、打开链接谷歌浏览器访问 https://chrome.google.com/webstore/search/ElasticSearch%20Head?hl=zh-CN 附录 ...
 
0

最详细的Hadoop环境搭建

发表者:admin分类:大数据2021-02-22 11:37:48 阅读[168]
最详细的Hadoop环境搭建blog.csdn.net-GitChat大数据  史上最详细的Hadoop环境
 
0

ES/elasticsearch知识体系

发表者:admin分类:大数据2021-02-22 11:37:01 阅读[77]
从入门到进阶的知识体系大致归纳如下:
    总共290页,当前第5页 | 页数:
  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. 9
  10. 10
  11. 11
  12. 12
  13. 13
  14. 14
  15. 15