记录关于系统运维,虚拟化云计算,数据库,网络安全等各方面问题,
filebeat采集一台服务器中的不同日志,并将日志放到ES中的不同索引中filebeat.inputs:- type: log  enabled: true  paths:    - /usr/local/tomcat/apache-tomcat-8.5.53/logs/catalina.out  tags: ["tomcat"]  fields:    index: "tomcat"- type: log  enabled: true  paths:    - /usr/local/apollo/apollo-adminservice.log  tags: ["apollo-adminservice"]  fields:    index: "apollo_admin"- type: log  enabled: true  paths:    - /usr/local/apollo/apollo-configservice.log  tags: ["apollo-configservice"]  fields:    index: "apollo_conf"output.elasticsearch: #指定ES的配置  hosts: ["192.168.20.248:9200"]  indices:    - index: "filebeat-java-1-tomcat-%{+YYYY-MM}"      when.contains:        fields:          index: "tomcat"  &...
linux shell脚本查找重复行/查找非重复行/去除重复行/重复行统计去除重复行sort file |uniq 查找非重复行sort file |uniq -u 查找重复行sort file |uniq -d 统计sort file | uniq -c 去除重复的行,并生成新的文件sort file |uniq > new_file
filebeat+kafka+logstash收集日志到es使用kibana展示实现逻辑filebeat    ==>>    kafka    <<==    logstash    ==>>    elastsearch   <==    kibana 1. filebeat配置filebeat.inputs: - type: log enabled: true paths: - /var/log/messages fields: log_topic: test_kafka filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: false setup.template.settings: index.number_of_shards: 3 output.kafka: enable: true hosts: ["log1:9092"] version: "2.0.0" topic: '%{[fields.log_topic]}' partition.round_robin: reachable_only: true worker: 1 required_acks: 1 compression: gzip compression_level: 4 max_message_bytes: 10000000 processors: - drop_fields: fields: - beat - host - input - source - offset - prospector启动服务 2. logstash配置:input { kafka...
 
0

harbor2.0.1安装部署

发表者:admin分类:云计算容器2021-04-15 09:51:24 阅读[130]
harbor2.0.1安装部署一、下载安装包wget https://github.com/goharbor/harbor/releases/download/v2.0.1/harbor-online-installer-v2.0.1.tgz二、解压tar xf harbor-online-installer-v2.0.1.tgz -C /usr/local/三、配置https访问1.创建目录mkdir /data/harbor/cert -p cd /data/harbor/cert配置证书颁发机构1.生成CA证书私钥openssl genrsa -out ca.key 40962.生成CA证书openssl req -x509 -new -nodes -sha512 -days 3650 \ -subj "/C=CN/ST=Shanghai/L=Shanghai/O=soulchild/OU=myharbor/CN=registry.com" \ -key ca.key \ -out ca.crt字段含义:C:国家ST:省份L:城市O:组织单位OU:其他内容CN:一般填写域名配置服务器证书生成私钥openssl genrsa -out registry.com.key 40962.生成证书签名请求(CSR)openssl req -sha512 -new \ -subj "/C=CN/ST=Shanghai/L=Shanghai/O=soulchild/OU=myharbor/CN=registry.com" \ -key registry.com.key \ -out registry.com.csr生成x509 v3扩展文件cat > v3.ext <<-EOF authorityKeyIdentifier=keyid,issuer basicConstraints=CA:FALSE keyUsage = digitalSignature, nonRepudiat...
 
0

redis哨兵模式vip

发表者:admin分类:数据库2021-04-15 09:50:39 阅读[131]
redis哨兵模式vip三个哨兵配置如下port 26379 daemonize yes pidfile "/var/run/redis-sentinel.pid" logfile "/var/log/redis/redis-sentinel.log" sentinel monitor mymaster 10.0.0.30 6379 2 sentinel down-after-milliseconds mymaster 5000 sentinel failover-timeout mymaster 20000 sentinel parallel-syncs mymaster 1 sentinel client-reconfig-script mymaster /server/scripts/redis_sentinel.shIP漂移脚本每个sentinel节点都需要添加vim /server/scripts/redis_sentinel.sh#!/bin/bash MASTER_IP=${6} VIP='10.0.0.25' NETMASK='24' INTERFACE='eth0' MY_IP=`ip a s dev ${INTERFACE} | awk 'NR==3{split($2,ip,"/");print ip[1]}'` if [ ${MASTER_IP} = ${MY_IP} ]; then /sbin/ip addr add ${VIP}/${NETMASK} dev ${INTERFACE} /sbin/arping -q -c 3 -A ${VIP} -I ${INTERFACE} exit 0 else /sbin/ip addr del ${VIP}/${NETMASK} dev ${INTERFACE} exit 0 fi exit 1redis-sentinel会向脚本传参mymaster observer start 旧主ip 6379 新主ip 6379添加执行权限c...
 
0

redis哨兵模式配置

发表者:admin分类:数据库2021-04-15 09:49:58 阅读[9]
redis哨兵模式配置Redis 的 Sentinel 系统用于管理多个 Redis 服务器(instance), 该系统执行以下三个任务:监控(Monitoring): Sentinel 会不断地检查你的主服务器和从服务器是否运作正常。提醒(Notification): 当被监控的某个 Redis 服务器出现问题时, Sentinel 可以通过 API 向管理员或者其他应用程序发送通知。自动故障迁移(Automatic failover): 当一个主服务器不能正常工作时, Sentinel 会开始一次自动故障迁移操作, 它会将失效主服务器的其中一个从服务器升级为新的主服务器, 并让失效主服务器的其他从服务器改为复制新的主服务器; 当客户端试图连接失效的主服务器时, 集群也会向客户端返回新主服务器的地址, 使得集群可以使用新主服务器代替失效服务器。环境准备:redis-server:10.0.0.30:6379 主10.0.0.30:6389 从10.0.0.31:6379 从10.0.0.31:6380 从redis-sentinel:10.0.0.30:2637910.0.0.30:2638010.0.0.31:26379配置redis主从参考链接配置sentinelsentinel配置文件:daemonize yes port 26379 logfile /var/log/redis/redis-sentinel.log pidfile /var/run/redis-sentinel.pid sentinel monitor mymaster 10.0.0.30 6379 2 sentinel d...
 
0

kafka2.0.1集群部署

发表者:admin分类:大数据2021-04-15 09:36:19 阅读[8]
kafka2.0.1集群部署1.下载安装: wget https://archive.apache.org/dist/kafka/2.0.1/kafka_2.12-2.0.1.tgz tar xf kafka_2.12-2.0.1.tgz mv kafka_2.12-2.0.1 /usr/local/kafka 2.配置zookeeper:可参考https://soulchild.cn/1663.html/usr/local/kafka/config/zookeeper.properties3. 创建 /tmp/zookeeper/myid文件echo 1 > /tmp/zookeeper/myid4. 启动zookeepercd /usr/local/kafka/bin ./zookeeper-server-start.sh -daemon ../config/zookeeper.properties 5.配置kafka:文件路径:/usr/local/kafka/config/server.properties修改配置文件:#kafka集群的唯一标识,在改变IP地址,不改变broker.id的话不会影响消费者。 #Kafka在启动时会在zookeeper中/brokers/ids路径下创建一个以broker的id为名称的虚节点,Kafka的健康状态检查就依赖于此节点。 #当broker下线时,该虚节点会自动删除,其他broker或者客户端通过判断/brokers/ids路径下是否有此broker的id来确定该broker的健康状态。 broker.id=0 #配置监听地址和端口,listener_name://host_name:port listeners=PLAINTEXT://elk1:9092 #topic不存在时,是否自动创建topic auto.c...
 
0

redis主从复制和配置

发表者:admin分类:数据库2021-04-15 09:35:18 阅读[9]
redis主从复制和配置1.安装redis参考链接2.配置redismaster:port 6379 daemonize yes bind 0.0.0.0 pidfile /var/run/redis_6379-master.pid logfile "/var/log/redis/redis_6379-master.log"slave:port 6379 daemonize yes bind 0.0.0.0 pidfile /var/run/redis_6379-slave.pid logfile "/var/log/redis/redis_6379-slave.log" # 指定redis-master的地址和端口 slaveof 10.0.0.30 63793.启动两台redisredis-server redis.conf4.测试登陆主redis[root@redis01 etc]# redis-cli 127.0.0.1:6379> set name soulchild OK登陆从redis[root@redis02 ~]# redis-cli 127.0.0.1:6379> keys * 1) "name" 127.0.0.1:6379> get name "soulchild"如果在主从复制架构中出现宕机的情况,需要分情况看:1)从Redis宕机这个相对而言比较简单,在Redis中从库重新启动后会自动加入到主从架构中,自动完成同步数据,这是因为在Redis2.8版本后就新增了增量复制功能,主从断线后恢复是通过增量复制实现的。所以这种情况无需担心。2)主Redis宕机这个情况相对而言就会复杂一些,需要以下2步才能完成:第一步,在从数据库中执行SL...
    总共290页,当前第1页 | 页数:
  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. 9
  10. 10
  11. 11