分类 Linux 中的文章

使用canal同步MySQL数据

一、MySQL配置 1.1 安装 MySQL 略 1.2 修改 my.ini 配置文件 1[mysqld] 2log-bin=mysql-bin # 开启binlog 3binlog-format=ROW # 选择row模式 4server_id=1 # serverid唯一 1.3 授权 1GRANTSELECT,REPLICATIONSLAVE,REPLICATIONCLIENTON*.*TO'canal'@'%'IDENTIFIEDBY'canal';2FLUSHPRIVILEGES;1.4 重启数据库 1service mysqld restart 二、部署 canal 2.1 安装 java 1yum -y install java 验证安装 1java -version 2openjdk version "1.8.0_312" 3OpenJDK Runtime Environment (build 1.8.0_312-b07) 4OpenJDK 64-Bit Server VM (build 25.312-b07, mixed mode) 2.2 下载 canal 1wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.deployer-1.1.5.tar.gz 2mkdir -p /opt/canal/deploy 3tar xf canal.deployer-1.1.5.tar.gz -C /opt/canal/deploy 2.3 配置 canal 1cd /opt/canal/deploy 2vim conf/example/instance.properties 3################################################# 4## mysql serverId , v1.0.26+ will autoGen server-id 自动生成 5# canal.instance.mysql.slaveId=0 6 7#……

阅读全文

Vitess 上手

简介 Vitess 是用于部署、扩展和管理大型 MySQL 实例集群的数据库解决方案。 特性 扩展性 Vitess 集 MySQL 数据库的很多重要特性和 NoSQL 数据库的可扩展性于一体。其内建拆分分片功能使您能够对您的 MySQL 数据库集群无限水平扩展,同时无需为应用添加分片逻辑。 性能 Vitess 自动重写对数据库性能有损害的查询。它还使用缓存机制来调解查询,并……

阅读全文

Pulsar四种订阅模式

Pulsar四种订阅模式 订阅是命名好的配置规则,指导消息如何投递给消费者。 Pulsar 中有四种订阅模式: 独占,共享,灾备和key共享 1. 独占 Exclusive Exclusive模式为默认订阅模式。 在独占模式下,仅允许单个使用者附加到订阅。如果多个使用者使用相同的订阅来订阅主题,则会发生错误。 在下图中,仅允许……

阅读全文

Pulsar集群部署

Pulsar集群部署 简介 Apache Pulsar 是Apache软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性,被看作是云原生时……

阅读全文

使用Pulsar Manager管理集群

使用Pulsar Manager管理集群 Pulsar Manager 是一个网页式可视化管理与监测工具,支持多环境下的动态配置。可用于管理和监测租户、命名空间、topic、订阅、broker、集群等。通过不同的环境来关联不同的Pulsar集群。 假设你已经部署好了Pulsar集群,关于Pulsar集群的部署可……

阅读全文

Podman新手入门

Podman新手入门 安装 安装podman centos7+可以直接使用yum进行安装 1yum -y install podman 验证安装 1podman version 2Version: 1.6.4 3RemoteAPI Version: 1 4Go Version: go1.12.12 5OS/Arch: linux/amd64 安装完成后,配置文件默认在/etc/containers下 1grep -Ev "^$|^#" registries.conf 2[registries.search] 3registries = ['registry.access.redhat.com', 'registry.redhat.io', 'docker.io'] 4[registries.insecure] 5registries = [] 6[registries.block] 7registries = [] 从配置文件可以看到默认搜索红帽和docker官方的registr……

阅读全文

MySQL InnoDB集群管理 - 使用mysqldump进行恢复和配置

作为群集的管理员,除其他任务外,您应该能够通过添加(或删除)新节点来还原故障节点并扩展(或收缩)群集。 在MySQL中,如果您的数据量不太大,可以使用mysqldump客户端执行逻辑备份是一种不错的选择。它是复制原始模式对象和数据的SQL语句。 但是,对于大量数据, 需要选择诸如MyS……

阅读全文

使用ceph-ansible部署Ceph集群

使用ceph-ansible部署Ceph集群 一、主机规划 主机 系统 IP 配置 ceph-node1 centos7.7 10.10.10.50 4C8G50G+100G ceph-node2 centos7.7 10.10.10.51 4C8G50G+100G ceph-node3 centos7.7 10.10.10.52 4C8G50G+100G 二、安装python3 1# 安装epel源 2yum -y install epel-release 3 4# 使用国内epel源 5sed -e 's!^metalink=!#metalink=!g' \ 6 -e 's!^#baseurl=!baseurl=!g' \ 7 -e 's!//download\.fedoraproject\.org/pub!//mirrors.tuna.tsinghua.edu.cn!g' \ 8 -e 's!http://mirrors\.tuna!https://mirrors.tuna!g' \ 9 -i /etc/yum.repos.d/epel.repo /etc/yum.repos.d/epel-testing.repo 10 11yum -y install python36 三、下载代码 stable-3.0分支支持的Ceph版本为jewel和……

阅读全文

备份Kubernetes资源清单文件脚本

脚本文件 dump_yaml_by_namespace.sh 1#!/bin/bash 2 3# 作用: 4# 备份指定namespace下的kubernetes资源清单文件 5 6# ===== 变量定义 ===== 7namespace=$1 8manifests=${2:-manifests} 9today=$(date +%Y%m%d) 10 11# ===== 函数定义部分 ===== 12# 红色终端显示 13function red() { 14 local body=$1 15 echo -e "\033[31m${body}\033[0m" 16} 17 18# 绿色终端显示 19function green() { 20 local body=$1 21 echo -e "\033[32m${body}\033[0m" 22} 23 24# 导出yaml格式的文件 25function dump_to_yaml() { 26 local type=$1 27 green "get ${namespace}${type}." 28 for i in $(kubectl get ${type} -n ${namespace} 2>/dev/null | awk '{if(NR!=1) print $1}');……

阅读全文

使用 Ceph RBD 作为K8s后端动态存储

使用 Ceph RBD 作为K8s后端动态存储 一、Kubernetes信息 主机 系统 IP Kubernetes版本 master1 CentOS7.8.2003 192.168.0.14 v1.16.6 master2 CentOS7.8.2003 192.168.0.15 v1.16.6 master3 CentOS7.8.2003 192.168.0.16 v1.16.6 node1 CentOS7.8.2003 192.168.0.18 v1.16.6 node2 CentOS7.8.2003 192.168.0.19 v1.16.6 node3 CentOS7.8.2003 192.168.0.20 v1.16.6 二、创建存储池 使用默认的rbd池也是可以的,但是不推荐使用 在ceph管理或监控节点上创建一个新的动态卷: 1# 创建存储池 2ceph osd pool create kube 128 128 3pool 'kube' created 4 5#……

阅读全文