文章

docker-[高级篇]

docker-[高级篇]

docker复杂安装详说

安装mysql主从复制(存在问题,暂不更新)

docker pull mysql:5.7.30

主从复制原理

主从搭建步骤

1.新建主服务容器实例3307

docker run -d -p 3307:3306 --privileged=true --name mysql-master -v /yama/mysql-master/log:/var/log/mysql -v /yama/mysql-master/data:/var/lib/mysql -v /yama/mysql-master/conf:/etc/mysql -e MYSQL_ROOT_PASSWORD=root mysql:5.7.30

2.进入/mydata/mysql-master/conf目录下新建my.cnf

vim my.cnf

[mysqld]
## 设置server_id,同一局域网中需要唯一
server_id=101
## 指定不需要同步的数据库名称
binlog-ignore-db=mysql
## 开启二进制日志功能
log-bin=mall-mysql-bin
## 设置二进制日志使用内存大小(事务)
binlog_cache_size=1M
## 设置使用的二进制日志格式(mixed,statement,row)
binlog_format=mixed
## 二进制日志过期清理时间。默认值为0,表示不自动清理。
expire_logs_days=7
## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。
## 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致
slave_skip_errors=1062

3.修改完配置之后重启master实例

docker restart mysql-master

4.进入mysql-master容器

docker exec -it mysql-master bash
mysql -uroot -p
输入密码

5.master容器实例内创建数据同步用户

CREATE USER 'slave'@'%' IDENTIFIED BY 'root';
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'slave'@'%';

6.新建从服务器容器实例3308

docker run -d -p 3308:3306 --privileged=true --name mysql-slave -v /yama/mysql-slave/log:/var/log/mysql -v /yama/mysql-slave/data:/var/lib/mysql -v /yama/mysql-slave/conf:/etc/mysql -e MYSQL_ROOT_PASSWORD=root mysql:5.7.30

7.进入/mydata/mysql-slave/conf目录下新建my.cnf

[mysqld]
## 设置server_id,同一局域网中需要唯一
server_id=102
## 指定不需要同步的数据库名称
binlog-ignore-db=mysql
## 开启二进制日志功能,以备Slave作为其它数据库实例的Master时使用
log-bin=mall-mysql-slave1-bin
## 设置二进制日志使用内存大小(事务)
binlog_cache_size=1M
## 设置使用的二进制日志格式(mixed,statement,row)
binlog_format=mixed
## 二进制日志过期清理时间。默认值为0,表示不自动清理。
expire_logs_days=7
## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。
## 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致
slave_skip_errors=1062
## relay_log配置中继日志
relay_log=mall-mysql-relay-bin
## log_slave_updates表示slave将复制事件写进自己的二进制日志
log_slave_updates=1
## slave设置为只读(具有super权限的用户除外)
read_only=1

8.修改完配之后重启slave实例

docker restart mysql-slave

9.在主数据库中查看主从同步状态

show master status;

10.进入mysql-slave容器

Docker exec -it mysql-slave bash

mysql -uroot -p

输入密码

后面的这里又出问题了,淦,网上找了解决办法就是mysql的版本问题,有时间再搞

11.在从数据库中配置主从复制

12.在从数据库中查看主从同步状态

13.在从数据库中开启主从同步

14.查看从数据库状态发现已经同步

15.主从复制测试

安装redis集群(大厂面试题第四季-分布式存储案例真题)

面试题

1-2亿条数据需要缓存,请问如何设计这个存储案例

回答:单机单台100%不可能,肯定是分布式存储,用redis如何落地?

1.哈希取余分区

2亿条记录就是2亿个k,v,我们单机不行必须要分布式多机,假设有3台机器构成一个集群,用户每次读写操作都是根据公式:

hash(key) % N个机器台数,计算出哈希值,用来决定数据映射到哪一个节点上。

  • 优点:

简单粗暴,直接有效,只需要预估好数据规划好节点,例如3台、8台、10台,就能保证一段时间的数据支撑。使用Hash算法让固定的一部分请求落到同一台服务器上,这样每台服务器固定处理一部分请求(并维护这些请求的信息,起到负载均衡+分而治之的作用。

  • 缺点:

    原来规划好的节点,进行扩容或者缩容就比较麻烦了额,不管扩缩,每次数据变动导致节点有变动,映射关系需要重新进行计算,在服务器个数固定不变时没有问题,如果需要弹性扩容或故障停机的情况下,原来的取模公式就会发生变化:Hash(key)/3会变成Hash(key) /?。此时地址经过取余运算的结果将发生很大变化,根据公式获取的服务器也会变得不可控。

某个redis机器宕机了,由于台数数量变化,会导致hash取余全部数据重新洗牌。


2.一致性哈希算法分区

是什么?

设计目标是为了解决:分布式缓存数据变动和映射问题,某个机器宕机了,分母数量改变了,自然取余数不OK了。

能干嘛?

提出一致性Hash解决方案。目的是当读武器个数发生变动时,尽量减少影响客户端到服务器的映射关系。

3大步骤:

  1. 算法构建一致性哈希环

一致性哈希算法必然有个hash函数并按照算法产生hash值,这个算法的所有可能哈希值会构成一个全量集,这个集合可以成为一个hash空间[0,2^32-1],这个是一个线性空间,但是在算法中,我们通过适当的逻辑控制将它首尾相连(0 = 2^32),这样让它逻辑上形成了一个环形空间。

它也是按照使用取模的方法,前面笔记介绍的节点取模法是对节点(服务器)的数量进行取模。而一致性Hash算法是对232取模,简单来说,==一致性Hash算法将整个哈希值空间组织成一个虚拟的圆环==,如假设某哈希函数H的值空间为0-232-1(即哈希值是一个32位无符号整形),整个哈希环如下图:整个空间按顺时针方向组织,圆环的正上方的点代表0,0点右侧的第一个点代表1,以此类推,2、3、4、……直到232-1,也就是说0点左侧的第一个点代表232-1, 0和232-1在零点中方向重合,我们把这个由232个点组成的圆环称为Hash环。

image-20230308154043400

  1. 服务器IP节点映射

将集群中各个IP节点映射到环上的某一个位置。

将各个服务器使用Hash进行一个哈希,具体可以选择服务器的IP或主机名作为关键字进行哈希,这样每台机器就能确定其在哈希环上的位置。假如4个节点NodeA、B、C、D,经过IP地址的哈希函数计算(hash(ip)),使用IP地址哈希后在环空间的位置如下:

image-20230308154107641

  1. key落到服务器的落键规则

当我们需要存储一个kv键值对时,首先计算key的hash值,hash(key),将这个key使用相同的函数Hash计算出哈希值并确定此数据在环上的位置,从此位置沿环顺时针“行走”,第一台遇到的服务器就是其应该定位到的服务器,并将该键值对存储在该节点上。

如我们有Object A、Object B、Object C、Object D四个数据对象,经过哈希计算后,在环空间上的位置如下:根据一致性Hash算法,数据A会被定为到Node A上,B被定为到Node B上,C被定为到Node C上,D被定为到Node D上。

image-20230308154144974

优点:

  1. 一致性哈希算法的容错性

容错性

假设Node C宕机,可以看到此时对象A、B、D不会受到影响,只有C对象被重定位到Node D。一般的,在一致性Hash算法中,如果一台服务器不可用,则受影响的数据仅仅是此服务器到其环空间中前一台服务器(即沿着逆时针方向行走遇到的第一台服务器)之间数据,其它不会受到影响。简单说,就是C挂了,受到影响的只是B、C之间的数据,并且这些数据会转移到D进行存储。

image-20230308154307665

  1. 一致性哈希算法的扩展性

扩展性

数据量增加了,需要增加一台节点NodeX,X的位置在A和B之间,那收到影响的也就是A到X之间的数据,重新把A到X的数据录入到X上即可,不会导致hash取余全部数据重新洗牌。

image-20230308154412371

缺点:

一致性哈希算法的数据倾斜问题

Hash环的数据倾斜问题

一致性Hash算法在服务节点太少时,容易因为节点分布不均匀而造成数据倾斜(被缓存的对象大部分集中缓存在某一台服务器上)问题,

例如系统中只有两台服务器:

image-20230308154458542

小总结:

为了在节点数目发生改变时尽可能少的迁移数据

将所有的存储节点排列在收尾相接的Hash环上,每个key在计算Hash后会顺时针找到临近的存储节点存放。

而当有节点加入或退出时仅影响该节点在Hash环上顺时针相邻的后续节点。

优点

加入和删除节点只影响哈希环中顺时针方向的相邻的节点,对其他节点无影响。

缺点

数据的分布和节点的位置有关,因为这些节点不是均匀的分布在哈希环上的,所以数据在进行存储时达不到均匀分布的效果。


3.哈希槽分区

1 为什么出现?

解决一致性哈希算法的数据倾斜问题

哈希槽实质就是一个数组,数组[0,2^14 -1]形成hash slot空间。

2 能干什么

解决均匀分配的问题,在数据和节点之间又加入了一层,把这层称为哈希槽(slot),用于管理数据和节点之间的关系,现在就相当于节点上放的是槽,槽里放的是数据。

image-20230308155136934

槽解决的是粒度问题,相当于把粒度变大了,这样便于数据移动。

哈希解决的是映射问题,使用key的哈希值来计算所在的槽,便于数据分配。

3 多少个hash槽

一个集群只能有16384个槽,编号0-16383(0-2^14-1)。这些槽会分配给集群中的所有主节点,分配策略没有要求。可以指定哪些编号的槽分配给哪个主节点。集群会记录节点和槽的对应关系。解决了节点和槽的关系后,接下来就需要对key求哈希值,然后对16384取余,余数是几key就落入对应的槽里。slot = CRC16(key) % 16384。以槽为单位移动数据,因为槽的数目是固定的,处理起来比较容易,这样数据移动问题就解决了。

哈希槽计算

Redis 集群中内置了 16384 个哈希槽,redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。当需要在 Redis 集群中放置一个 key-value时,redis 先对 key 使用 crc16 算法算出一个结果,然后把结果对 16384 求余数,这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽,也就是映射到某个节点上。

![image-20230308155620861](/Users/zuoliang/Library/Application Support/typora-user-images/image-20230308155620861.png)

打开步骤

3主3从redis集群配置

关闭防火墙+启动docker后台

systemctl start docker

新建6个docker容器redis实例

docker run -d --name redis-node-1 --net host --privileged=true -v /yama/redis/share/redis-node-1:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6381

docker run -d --name redis-node-2 --net host --privileged=true -v /yama/redis/share/redis-node-2:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6382

docker run -d --name redis-node-3 --net host --privileged=true -v /yama/redis/share/redis-node-3:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6383

docker run -d --name redis-node-4 --net host --privileged=true -v /yama/redis/share/redis-node-4:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6384

docker run -d --name redis-node-5 --net host --privileged=true -v /yama/redis/share/redis-node-5:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6385

docker run -d --name redis-node-6 --net host --privileged=true -v /yama/redis/share/redis-node-6:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6386

命令分步解释:


docker run 创建并运行docker容器实例

–name redis-node -1 容器名字

–net host 使用宿主机的IP和端,口默认

–privileged=true 获取宿主机root用户权限

-v /yama/redis/share/redis-node-1:/data 容器卷,宿主机地址:docker内部地址

redis:6.0.8 redis镜像和版本号

–cluster-enabled yes 开启redis集群

–appendonly yes 开启持久化

–port 6386 redis端口号


进入容器redis-node-1并为6台机器构建集群关系

进入容器

docker exec -it redis-node-1 bash

构建主从关系

redis-cli --cluster create 38.60.35.171:6381 38.60.35.171:6382 38.60.35.171:6383 38.60.35.171:6384 38.60.35.171:6385 38.60.35.171:6386 --cluster-replicas 1

image-20230309095951068

一切ok的话,3主3从搞定

链接进入6381作为切入点,查看集群状态

redis-cli -p 6381

cluster info

cluster nodes

image-20230309100811358

主从关系

M s
6381 6385
6382 6386
6383 6384

主从容错切换迁移案例

数据读写存储

启动6机构成的集群并通过exec进入

docker exec -it redid-node-1 bash

Redis-cli -p 6381

key *


对6381新增两个key

set k1 v1

image-20230309103452112

防止路由失效加参数 -c 并新增两个key(加入参数-c,优化路由)

redis-cli -p 6381 -c

image-20230309103712893

查看集群信息

redis-cli --cluster check 38.60.35.171:6381

容错切换迁移

主6381和从机切换,先停止主机6381

docker stop redis-node-1

docker exec -it redid-node-2 bash

redis-cli -p 6382 -c

再次查看集群信息

cluster nodes

如果此时再将redis-node-1启动,则redis-node-1变为从机slave

先还原之前的3主3从

先启6381:docker start redis-node-1

在停6385:docker stop redis-node-5

在启6385:docker start redis-node-5

查看集群状态

redis-cli --cluster check 38.60.35.171:6381

主从扩容案例

新建6387、6388两个节点+新建后启动+查看是否8节点

docker run -d --name redis-node-7 --net host --privileged=true -v /yama/redis/share/redis-node-7:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6387

docker run -d --name redis-node-8 --net host --privileged=true -v /yama/redis/share/redis-node-8:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6388

docker ps

进入6387容器实例内部

docker exec -it redis-node-7 bash

将新增的6387节点(空槽号)作为master节点加入原集群

将新增的6387作为master节点加入集群

redis-cli --cluster add-node 38.60.35.171:6387 38.60.35.171:6381

6387 就是将要作为master新增节点
6381 就是原来集群节点里面的领路人,相当于6387拜拜6381的码头从而找到组织加入集群

image-20230309110512080

检查集群情况第一次

redis-cli --cluster check 38.60.35.171:6381

image-20230309110642262

重新分配槽号

重新分派槽号

命令:redis-cli --cluster **reshard** IP地址:端口号

redis-cli --cluster reshard 38.60.35.171:6381

输入4096 (16383/4约等于4096向上取整)

输入6387的master 的ID

输入all

检查集群情况第2次

redis-cli --cluster check 38.60.35.171:6381

image-20230309111244705

为什么6387是3个新的区间,以前的还是连续?

重新分配成本太高,所以前3家各自匀出来一部分,从6381/6382/6383三个旧节点分别匀出1364个坑位给新节点6387

为主节点6387分配从节点6388

命令:

redis-cli --cluster add-node ip:新slave端口 ip:新master端口 --cluster-slave --cluster-master-id 新主机节点ID
redis-cli --cluster add-node 38.60.35.171:6388 38.60.35.171:6387 --cluster-slave --cluster-master-id ac0c606bb444b149d29fbb1541cfb020a7d2fc9d

-------这个是6387的编号,按照自己实际情况

image-20230309111843263

检查集群情况第3次

image-20230309111953401

主从缩容案例

步骤:

1.先清除从节点6388

2.清出来的槽号重新分配

3.在删除6387

4.恢复成3主3从

目的:6387和6388下线

检查集群情况第一次获得6388节点ID

redis-cli --cluster check 38.60.35.171:6381

(6388)S:4cd0380df2d61a22d49b16f353efe7490794c1b0

将6388删除从集群中将4号从节点6388删除

命令:redis-cli --cluster del-node ip:从机端口 从机6388节点ID

redis-cli --cluster del-node 38.60.35.171:6388 4cd0380df2d61a22d49b16f353efe7490794c1b0

image-20230309112814738

将6387的槽号清空,重新分配,本例将清出来的槽号都给6381

redis-cli --cluster reshard 38.60.35.171:6381

image-20230309113218286

其中4096是需要归还的槽位(可以输入多次)

What is the receiving node ID? 意思就是需要重新分配的槽位由谁来接收,这里由6381接收

image-20230309113412853

这里的Source node #1: 是指的告知删除那个master,这里填写6387的ID

Source node #1:输入done

检查集群情况第二次

redis-cli --cluster check 38.60.35.171:6381

image-20230309113726225

将6387删除

命令:redis-cli --cluster del-node ip:端口 6387节点ID

redis-cli --cluster del-node 38.60.35.171:6387 ac0c606bb444b149d29fbb1541cfb020a7d2fc9d

image-20230309113858962

检查集群情况第三次

redis-cli --cluster check 38.60.35.171:6381

image-20230309113922367

dockerFile解析

是什么?

dockerfile是用来构建docker镜像的文本文件,是由一条条构建镜像所需的指令和参数构成的脚本。

image-20230309123343916

官网:https://docs.docker.com/engine/reference/builder/

构建三步骤:

1.编写Dockerfile文件

2.docker build命令构建镜像

3.docker run依镜像运行容器实例


dockerfile构建过程解析

dockerfile内容基础知识

1.每条保留字指令都必须为大写字母且后面要跟随至少一个参数

2.指令按照从上到下,顺序执行

3.# 表示注解

4.每条指令都会创建一个新的镜像层并对镜像进行提交


docker执行dockerfile的大致流程

1.docker从基础镜像运行一个容器

2.执行一条指令并对容器作出修改

3.执行类似docker commit的操作提交一个新的镜像层

4.docker在基于刚提交的镜像运行一个新容器

5.执行dockerfile中的下一条指令直到所有指令都执行完成


小总结

从应用软件的角度来看,Dockerfile、Docker镜像与Docker容器分别代表软件的三个不同阶段,

  • Dockerfile是软件的原材料

  • Docker镜像是软件的交付品

  • Docker容器则可以认为是软件镜像的运行态,也即依照镜像运行的容器实例

Dockerfile面向开发,Docker镜像成为交付标准,Docker容器则涉及部署与运维,三者缺一不可,合力充当Docker体系的基石。

image-20230309124727311

  1. Dockerfile,需要定义一个Dockerfile,Dockerfile定义了进程需要的一切东西。Dockerfile涉及的内容包括执行代码或者是文件、环境变量、依赖包、运行时环境、动态链接库、操作系统的发行版、服务进程和内核进程(当应用进程需要和系统服务和内核进程打交道,这时需要考虑如何设计namespace的权限控制)等等;

  2. Docker镜像,在用Dockerfile定义一个文件之后,docker build时会产生一个Docker镜像,当运行 Docker镜像时会真正开始提供服务;

  3. Docker容器,容器是直接提供服务的。


dockerfile常用保留字指令

FROM

基础镜像,当前新镜像是基于哪个镜像的,指定一个已经存在的镜像作为模板,第一条必须是FROM


MAINTAINER

镜像维护者的姓名和邮箱地址


RUN

容器构建时需要运行的命令

两种格式

shell格式:等同于在终端操作的shell命令 eg:RUN yun -y install vim

exec格式:RUN[“可执行文件”,“参数1”,“参数2”] eg:[“./test.php”,“dev”,“offline”] 等价于./test.php dev offline

RUN是在docker build时运行


EXPOSE

当前容器对外暴露的端口号


WORKDIR

指定在创建容器后,终端默认登录的进来工作目录,一个落脚点


USER

指定该镜像以什么样的用户去执行,如果都不指定,默认是root


ENV

用来在构建镜像过程中设置环境变量

ENV MY_PATH /usr/mytest

这个环境变量可以在后续的任何RUN指令中使用,这就如同在命令前面指定了环境变量前缀一样;

也可以在其它指令中直接使用这些环境变量,

比如:WORKDIR $MY_PATH


ADD

将宿主机目录下的文件拷贝进镜像且会自动处理URL和解压tar压缩包


COPY

类似ADD,拷贝文件和目录到镜像中。

将从构建上下文目录中 <源路径> 的文件/目录复制到新的一层的镜像内的 <目标路径> 位置

COPY src dest

COPY [“src”, “dest”]

<src源路径>:源文件或者源目录

<dest目标路径>:容器内的指定路径,该路径不用事先建好,路径不存在的话,会自动创建。


VOLUME

容器数据卷,用于数据保存和持久化工作


CMD

指定容器启动后的要干的事情

注意:

dockerfile中可以有多个CMD指令,但只有最后一个生效,CMD会被docker run之后的参数替换

它和前面RUN命令的区别

CMD是在docker run时运行

RUN是在docker build时运行


ENTRYPOINT

也是用来指定一个容器启动时要运行的命令

类似于CMD指令,但是ENTRYPOINT不会被docker run后面的指令覆盖,而且这些命令行参数会被当作参数送给ENTRYPOINT指令指定的程序

命令行格式和案例说明:

命令格式:ENTRYPOINT[“”,“”,“”,…]

ENTRYPOINT可以和CMD一起用,一般是变参才会使用 CMD ,这里的 CMD 等于是在给 ENTRYPOINT 传参。

当指定了ENTRYPOINT后,CMD的含义就发生了变化,不再是直接运行其命令而是将CMD的内容作为参数传递给ENTRYPOINT指令,他两个组合会变成"“”"

eg:

FROM nginx
ENTRYPOINT ["nginx","-c"] # 定参
CMD ["/etc/nginx/nginx.conf"]# 变参
是否传参 按照dockerfile编写执行 传参运行
Docker命令 docker run nginx:test docker run nginx:test -c /etc/nginx/new.conf
衍生出的实际命令 nginx -c /etc/nginx/nginx.conf nginx -c /etc/nginx/new.conf

优点:在执行docker run的时候可以指定 ENTRYPOINT 运行所需的参数。

注意:如果 Dockerfile 中如果存在多个 ENTRYPOINT 指令,仅最后一个生效。


小结

image-20230309135204184


案例

自定义镜像mycentosjava8

要求

Centos7镜像具备vim+ifconfig+jdk8

JDK的下载镜像地址

https://www.oracle.com/java/technologies/downloads/#java8

image-20230309135944442

这里用的是https://mirrors.yangxingzhen.com/jdk/

image-20230309140428838


编写

准备编写Dockerfile文件

FROM centos:7
MAINTAINER yama<yamabs@163.com>
ENV MYPATH /usr/local
WORKDIR $MYPATH
#安装vim编辑器
RUN yum -y install vim
#安装ifconfig命令查看网络IP
RUN yum -y install net-tools
#安装java8及lib库
RUN yum -y install glibc.i686
RUN mkdir /usr/local/java
#ADD 是相对路径jar,把jdk-8u171-linux-x64.tar.gz添加到容器中,安装包必须要和Dockerfile文件在同一位置
ADD jdk-8u171-linux-x64.tar.gz /usr/local/java/
#配置java环境变量
ENV JAVA_HOME /usr/local/java/jdk1.8.0_171
ENV JRE_HOME $JAVA_HOME/jre
ENV CLASSPATH $JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
ENV PATH $JAVA_HOME/bin:$PATH
EXPOSE 80
CMD echo $MYPATH
CMD echo "success--------------ok"
CMD /bin/bash
docker build -t centosjava8:1.5 .
docker images

进入新构建的centosjava8

ifconfig

vim a.txt

Java -version

虚悬镜像

是什么?

仓库名、标签都是的景象,俗称dangling image

Dockerfile写一个

vim Dockerfile

FROM ubuntu

CMD echo 'action is success'

docker build .

image-20230309161814000

查看

docker image ls -f dangling=true

删除

docker image prune

小案例:

ubuntu

FROM ubuntu
MAINTAINER yama<yama163>@163.com

ENV MYPATH /usr/local
WORKDIR $MYPATH

RUN apt-get update
RUN apt-get install net-tools
# RUN apt-get install -y iprouter2
# RUN apt-get install -y inetutils-ping
EXPOSE 80
CMD echo $MYPATH
CMD echo "install inconfig cmd into ubuntu success -------ok"
CMD /bin/bash

docker微服务实战

通过IDEA新建一个普通微服务模块

新建一个springboot文件

在maven中按照顺序打成jar包

image-20230309172421911

然后将对应的jar包上传至对应的Linux系统中

image-20230309172518690

scp jar包路径 root@服务器ip地址:服务器路径

scp /Users/zuoliang/Documents/code/springboot/demo2_docker/target/demo2_docker-0.0.1-SNAPSHOT.jar root@38.60.35.171:/yama/mydocker

通过dockerfile发布微服务部署到docker容器

idea工具里面搞定微服务jar包

docker pull openjdk:8

编写Dockerfile

# 基础镜像使用java
FROM java:8
# 作者
MAINTAINER yama
# VOLUME 指定临时文件目录为/tmp,在主机/var/lib/docker目录下创建了一个临时文件并链接到容器的/tmp
VOLUME /tmp
# 将jar包添加到容器中并更名为zzyy_docker.jar
ADD demo2_docker-0.0.1-SNAPSHOT.jar yama_docker.jar
# 运行jar包
RUN bash -c 'touch /yama_docker.jar'
ENTRYPOINT ["java","-jar","/yama_docker.jar"]
#暴露6001端口作为微服务
EXPOSE 6001

构建镜像

docker build -t yama_docker.jar .

运行容器

docker run -d -p 6001:6001 yama_docker

访问测试

http://ip地址:6001/order/index

image-20230309175909404



docker网络

是什么?

docker不启动,默认网络情况

Ens33、lo、virbr0

docker启动后,网络情况

查看docker网络模式命令

docker network ls

image-20230309181411221


常用基本命令

All命令

docker network COMMAND

查看网络

docker network ls

查看网络源数据

docker network inspect xxx网络名字

删除网络

docker network rm xxx网络名字

案例

docker network create aa_network

docker network ls

docker network rm aa_network

docker network ls

image-20230309181937263


能干嘛

容器间的互联和通信以及端口映射

容器IP变动时候可以通过服务名直接网络通信而不受到影响


网络模式

总体介绍

  • bridge模式:使用–network bridge指定,默认使用docker0

  • host模式:使用–network host指定

  • none模式:使用–network none指定

  • container模式:使用–network container:NAME或者容器ID指定

网络模式 简介
bridge 为每一个容器分配、设置IP等,并将容器连接到一个docker0 虚拟网桥,默认为该模式
host 容器将不会虚拟出自己的网卡,配置自己的IP等,而是使用宿主机的IP和端口
none 容器有独立的Network namespace,但并没有对其进行任何网络设置,如分配veth pair和网桥连接,IP等
containe 新创建的容器不会创建自己的网卡和配置自己的IP,而是和一个指定的容器共享IP、端口范围等。

容器实例内默认网络IP生产规则

说明

docker run -it --name u1 ubuntu

docker inspect  u1 | tail -n 20

image-20230309213137150

docker run -it --name u2 ubuntu

docker inspect u2 | tail -n 20

image-20230309213211844

现在关掉u2,再起一个u3

docker rm -f u2

docker run -it --name u3 ubuntu

docker inspect u3 | tail -n 20

image-20230309213304294

结论

docker容器内部的ip是有可能会发生改变的


案例说明

bridge

是什么

Docker 服务默认会创建一个 docker0 网桥(其上有一个 docker0 内部接口),该桥接网络的名称为docker0,它在内核层连通了其他的物理或虚拟网卡,这就将所有容器和本地主机都放到同一个物理网络。Docker 默认指定了 docker0 接口 的 IP 地址和子网掩码,让主机和容器之间可以通过网桥相互通信。

# 查看 bridge 网络的详细信息,并通过 grep 获取名称项

docker network inspect bridge | grep name

image-20230309215328147

ifconfig |grep docker

image-20230309215409621


案例

说明

1 Docker使用Linux桥接,在宿主机虚拟一个Docker容器网桥(docker0),Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址,称为Container-IP,同时Docker网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥,这样容器之间就能够通过容器的Container-IP直接通信。

2 docker run 的时候,没有指定network的话默认使用的网桥模式就是bridge,使用的就是docker0。在宿主机ifconfig,就可以看到docker0和自己create的network(后面讲)eth0,eth1,eth2……代表网卡一,网卡二,网卡三……,lo代表127.0.0.1,即localhost,inet addr用来表示网卡的IP地址

3 网桥docker0创建一对对等虚拟设备接口一个叫veth,另一个叫eth0,成对匹配。

3.1 整个宿主机的网桥模式都是docker0,类似一个交换机有一堆接口,每个接口叫veth,在本地主机和容器内分别创建一个虚拟接口,并让他们彼此联通(这样一对接口叫veth pair);

3.2 每个容器实例内部也有一块网卡,每个接口叫eth0;

3.3 docker0上面的每个veth匹配某个容器实例内部的eth0,两两配对,一一匹配。

通过上述,将宿主机上的所有容器都连接到这个内部网络上,两个容器在同一个网络下,会从这个网关下各自拿到分配的ip,此时两个容器的网络是互通的。

image-20230309223635679

代码

docker run -d -p 8081:8080 --name tomcat81 tomcat

docker run -d -p 8082:8080 --name tomcat82 tomcat

首先在宿主机中

ip addr

image-20230309224546155

进入tomcat81

docker exec -it tomcat81 bash

ip addr(没有的话就先apt update apt -y install iproute2)

image-20230309224713135

进入tomcat82

docker exec -it tomcat82 bash

ip addr(没有的话就先apt update apt -y install iproute2)

image-20230309224753187


host

是什么

直接使用宿主机的 IP 地址与外界进行通信,不再需要额外进行NAT 转换。

案例

说明

容器将不会获得一个独立的Network Namespace, 而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡而是使用宿主机的IP和端口。

image-20230309233504580

代码

警告

docker run -it -d -p 8083:8080 --network host --name tomcat83 tomcat

image-20230309233642730

问题:

docke启动时总是遇见标题中的警告

原因:

docker启动时指定–network=host或-net=host,如果还指定了-p映射端口,那这个时候就会有此警告,

并且通过-p设置的参数将不会起到任何作用,端口号会以主机端口号为主,重复时则递增。

解决:

解决的办法就是使用docker的其他网络模式,例如–network=bridge,这样就可以解决问题,或者直接无视

正确

docker run -it -d --network host --name tomcat83 tomcat

无之前的配对现实了,看容器实例内部

image-20230309234802602

没有设置-p的端口映射了,如何访问启动的tomcat83?

http://宿主机IP:8080/

在CentOS里面用默认的火狐浏览器访问容器内的tomcat83看到访问成功,因为此时容器的IP借用主机的,

所以容器共享宿主机网络IP,这样的好处是外部主机与容器可以直接通信。


none

是什么?

在none模式下,并不为Docker容器进行任何网络配置。

也就是说,这个Docker容器没有网卡、IP、路由等信息,只有一个lo

需要我们自己为Docker容器添加网卡、配置IP等。

禁用网络功能,只有lo标识(就是127.0.0.1表示本地回环)


案例

docker run -d -p 8084:8080 --name tomcat84 --network none tomcat

docker inspect tomcat84 | tail -n 20

image-20230310102738207

进入tomcat84之后,无法使用网络功能

image-20230310103236393


container

是什么?

新建的容器和已经存在的一个容器共享一个网络ip配置而不是和宿主机共享。新创建的容器不会创建自己的网卡,配置自己的IP,而是和一个指定的容器共享IP、端口范围等。同样,两个容器除了网络方面,其他的如文件系统、进程列表等还是隔离的。

image-20230310103356673


案例

docker run -it --name alpine1 alpine /bin/sh

docker run -it --network container:alpine1 --name alpine2 alpine /bin/sh

在alpine1中操作ip addr

image-20230310112837378

在alpine2中操作ip addr

image-20230310112913923

现在退出alpine1

然后在alpine2中操作 ip addr

image-20230310113013771


自定义网络

docker run -d -p 8081:8080 --name tomcat81 tomcat

docker run -d -p 8082:8080 --name tomcat82 tomcat

分别进入各个容器

tomcat81

使用默认桥接网络bridge进行测试

docker exec -it tomcat81 bash

ip addr

image-20230310115058398

ping 172.17.0.3

image-20230310115215877

没问题

ping tomcat82

image-20230310115546980


tomcat82

docker exec -it tomcat82 bash

ip addr

image-20230310115124082

ping 172.17.0.2

image-20230310115252578

没问题

ping tomcat81

image-20230310115533922

结论一:按照IP地址ping是OK的,但是按照服务名ping就会失败


之前的是使用的bridge桥接网络模式,现在新建自定义网络

docker network create yama_network

image-20230310120054560

现在使用自定义进行测试一下:

docker run -d -p 8081:8080 --network yama_network --name tomcat81 tomcat

docker run -d -p 8082:8080 --network yama_network --name tomcat82 tomcat

tomcat81

docker exec -it tomcat81 bash

apt update

apt install -y iproute2

apt install -y inetutils-ping

image-20230310121714803

image-20230310121824868

image-20230310121917926


tomcat82

docker exec -it tomcat82 bash

apt update

apt install -y iproute2

apt install -y inetutils-ping

image-20230310121735913

image-20230310121853396

image-20230310121939289

结论:自定义网络本身就维护好了主机名和ip的对应关系(ip和域名都能ping通)


Docker平台架构图解

从其架构和运行流程来看,Docker 是一个 C/S 模式的架构,后端是一个松耦合架构,众多模块各司其职。

Docker 运行的基本流程为:

1 用户是使用 Docker Client 与 Docker Daemon 建立通信,并发送请求给后者。

2 Docker Daemon 作为 Docker 架构中的主体部分,首先提供 Docker Server 的功能使其可以接受 Docker Client 的请求。

3 Docker Engine 执行 Docker 内部的一系列工作,每一项工作都是以一个 Job 的形式的存在。

4 Job 的运行过程中,当需要容器镜像时,则从 Docker Registry 中下载镜像,并通过镜像管理驱动 Graph driver将下载镜像以Graph的形式存储。

5 当需要为 Docker 创建网络环境时,通过网络管理驱动 Network driver 创建并配置 Docker 容器网络环境。

6 当需要限制 Docker 容器运行资源或执行用户指令等操作时,则通过 Execdriver 来完成。

7 Libcontainer是一项独立的容器管理包,Network driver以及Exec driver都是通过Libcontainer来实现具体对容器进行的操作。

docker


docker-compose容器编排

是什么?

docker-Compose是docker官方的开源项目,负责实现对docker容器集群的快速编排

可以管理多个 Docker 容器组成一个应用。你需要定义一个 YAML 格式的配置文件docker-compose.yml,写好多个容器之间的调用关系。然后,只要一个命令,就能同时启动/关闭这些容器


能干嘛?

docker建议我们每一个容器中只运行一个服务,因为docker容器本身占用资源极少,所以最好是将每个服务单独的分割开来但是这样我们又面临了一个问题?

如果我需要同时部署好多个服务,难道要每个服务单独写Dockerfile然后在构建镜像,构建容器,这样累都累死了,所以docker官方给我们提供了docker-compose多服务部署的工具

例如要实现一个Web微服务项目,除了Web服务容器本身,往往还需要再加上后端的数据库mysql服务容器,redis服务器,注册中心eureka,甚至还包括负载均衡容器等等。。。。。。

Compose允许用户通过一个单独的docker-compose.yml模板文件(YAML 格式)来定义一组相关联的应用容器为一个项目(project)。

可以很容易地用一个配置文件定义一个多容器的应用,然后使用一条指令安装这个应用的所有依赖,完成构建。Docker-Compose 解决了容器与容器之间如何管理编排的问题。


去哪下?

官网

https://docs.docker.com/compose/compose-file/compose-file-v3/

官网下载

https://docs.docker.com/compose/install/other/

安装步骤

1.Linux下

curl -SL https://github.com/docker/compose/releases/download/v2.16.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose

2.给权限

chmod +x /usr/local/bin/docker-compose

3.查版本

docker compose version

4.卸载

sudo rm /usr/local/bin/docker-compose

compose核心概念

一文件

docker-compose.yml

两要素

服务(service)

一个个应用容器实例,比如订单微服务、库存微服务、mysql容器、nginx容器或者redis容器

工程(project)

由一组关联的应用容器组成的一个完整业务单元,在docker-compose.yml文件中定义


Compose使用的三个步骤

  1. 编写dockerfile定义各个微服务应用并构建出对应的镜像文件

  2. 使用docker-compose.yml定义一个完整业务单元,安排好整体应用中的各个容器服务

  3. 最后,执行docker-compose up命令来启动并运行整个应用程序,完成一件部署上线


Compose常用命令

docker-compose -h # 查看帮助

docker-compose up # 启动所有docker-compose服务

docker-compose up -d # 启动所有docker-compose服务并后台运行

docker-compose down # 停止并删除容器、网络、卷、镜像。

docker-compose exec yml 里面的服务id # 进入容器实例内部 docker-compose exec docker-compose.yml文件中写的服务id /bin/bash

docker-compose ps # 展示当前docker-compose编排过的运行的所有容器

docker-compose top # 展示当前docker-compose编排过的容器进程

docker-compose logs yml里面的服务id # 查看容器输出日志

docker-compose config # 检查配置

docker-compose config -q # 检查配置,有问题才有输出

docker-compose restart # 重启服务

docker-compose start # 启动服务

docker-compose stop # 停止服务


Compose编排微服务

改造升级微服务工程docker_boot

SQL建标建库

CREATE TABLE `t_user` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `username` varchar(50) NOT NULL DEFAULT '' COMMENT '用户名',
  `password` varchar(50) NOT NULL DEFAULT '' COMMENT '密码',
  `sex` tinyint(4) NOT NULL DEFAULT '0' COMMENT '性别 0=女 1=男 ',
  `deleted` tinyint(4) unsigned NOT NULL DEFAULT '0' COMMENT '删除标志,默认0不删除,1删除',
  `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
  `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 COMMENT='用户表'

项目地址:https://gitee.com/zuo--liang/docker_-p81_-p85.git

自行拉取

将生成的jar包上传至服务器

scp 本地地址 root@IP地址:服务器地址

编写Dockerfile

# 基础镜像使用java
FROM openjdk:8
# 作者
MAINTAINER yama
# VOLUME 指定临时文件目录为/tmp,在主机/var/lib/docker目录下创建了一个临时文件并链接到容器的/tmp
VOLUME /tmp
# 将jar包添加到容器中并更名为zzyy_docker.jar
ADD docker_boot-0.0.1-SNAPSHOT.jar yama_docker.jar
# 运行jar包
RUN bash -c 'touch /yama_docker.jar'
ENTRYPOINT ["java","-jar","/yama_docker.jar"]
#暴露6001端口作为微服务
EXPOSE 6001

构建镜像

dock er build -t yama_docker:1.7 .

不用Compose

单独的mysql容器实例

新建mysql容器实例

docker run -p 3306:3306 --name mysql --privileged=true -v /yama/mysql/conf:/etc/mysql/conf.d -v /yama/mysql/logs:/logs -v /yama/mysql/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7.30

进入mysql容器实例并新建库db2021+新建表t_user

docker exec -it mysql /bin/bash

mysql -uroot -p

create database db2021;

use db2021;
CREATE TABLE `t_user` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `username` varchar(50) NOT NULL DEFAULT '' COMMENT '用户名',
  `password` varchar(50) NOT NULL DEFAULT '' COMMENT '密码',
  `sex` tinyint(4) NOT NULL DEFAULT '0' COMMENT '性别 0=女 1=男 ',
  `deleted` tinyint(4) unsigned NOT NULL DEFAULT '0' COMMENT '删除标志,默认0不删除,1删除',
  `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
  `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 COMMENT='用户表'

单独的redis容器实例

docker run -p 6379:6379 --name redis --privileged=true -v /app/redis/redis.conf:/etc/redis/redis.conf -v /app/redis/data:/data -d redis:6.0.8 redis-server /etc/redis/redis.conf

微服务工程

docker run -d -p 6001:6001 yama_docker:1.7

上面三个容器实例依次顺序启动成功


swagger测试

http://localhost:你的微服务端口/swagger-ui.html#/


上面成功了,有哪些问题?

先后顺序要求固定,先mysql+redis才能微服务访问成功

多个run命令…

容器间的启停或宕机,有可能导致IP地址对应的容器实例变化,映射出错,要么生成IP写死(可以但不推荐),要么通过服务调用


使用compose

编写docker-compose.yml

version: "3"

 

services:

  microService:

    image: yama_docker:2.0

    container_name: ms02

    ports:

      - "6001:6001"

    volumes:

      - /app/microService:/data

    networks: 

      - yama_net 

    depends_on: 

      - redis

      - mysql

 

  redis:

    image: redis:6.0.8

    ports:

      - "6379:6379"

    volumes:

      - /app/redis/redis.conf:/etc/redis/redis.conf

      - /app/redis/data:/data

    networks: 

      - yama_net

    command: redis-server /etc/redis/redis.conf

 

  mysql:

    image: mysql:5.7.30

    environment:

      MYSQL_ROOT_PASSWORD: '123456'

      MYSQL_ALLOW_EMPTY_PASSWORD: 'no'

      MYSQL_DATABASE: 'db2021'

      MYSQL_USER: 'yama'

      MYSQL_PASSWORD: 'yama123'

    ports:

       - "3306:3306"

    volumes:

       - /app/mysql/db:/var/lib/mysql

       - /app/mysql/conf/my.cnf:/etc/my.cnf

       - /app/mysql/init:/docker-entrypoint-initdb.d

    networks:

      - yama_net

    command: --default-authentication-plugin=mysql_native_password #解决外部无法访问

 

networks: 

   yama_net: 

第二次修改微服务工程docker_boot中的application.properties,如下:

server.port=6001
# ========================alibaba.druid????=====================
spring.datasource.type=com.alibaba.druid.pool.DruidDataSource
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://mysql:3306/db2021?useUnicode=true&characterEncoding=utf-8&useSSL=false
spring.datasource.username=root
spring.datasource.password=123456
spring.datasource.druid.test-while-idle=false
# ========================redis????=====================
spring.redis.database=0
spring.redis.host=redis
spring.redis.port=6379
spring.redis.password=
spring.redis.lettuce.pool.max-active=8
spring.redis.lettuce.pool.max-wait=-1ms
spring.redis.lettuce.pool.max-idle=8
spring.redis.lettuce.pool.min-idle=0
# ========================mybatis????===================
mybatis.mapper-locations=classpath:mapper/*.xml
mybatis.type-aliases-package=com.wang.docker.entities
# ========================swagger=====================
spring.swagger2.enabled=true

然后在通过mvn package命令将微服务形成新的jar包并上传到服务器对应的文件

编写Dockerfile

# 基础镜像使用java
FROM openjdk:8
# 作者
MAINTAINER yama
# VOLUME 指定临时文件目录为/tmp,在主机/var/lib/docker目录下创建了一个临时文件并链接到容器的/tmp
VOLUME /tmp
# 将jar包添加到容器中并更名为zzyy_docker.jar
ADD docker_boot-0.0.1-SNAPSHOT.jar yama_docker.jar
# 运行jar包
RUN bash -c 'touch /yama_docker.jar'
ENTRYPOINT ["java","-jar","/yama_docker.jar"]
#暴露6001端口作为微服务
EXPOSE 6001

构建镜像

docker build -t yama_docker:2.0 .

执行docker-compose up或者docker-compose up -d

进入mysql容器实例并新建库db2021+新建表t_user

docker exec -it mysqlID bash

mysql -uroot -p

create database db2021;

use db2021;
CREATE TABLE `t_user` (
  `id` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(50) NOT NULL DEFAULT '' COMMENT '用户名',
  `password` VARCHAR(50) NOT NULL DEFAULT '' COMMENT '密码',
  `sex` TINYINT(4) NOT NULL DEFAULT '0' COMMENT '性别 0=女 1=男 ',
  `deleted` TINYINT(4) UNSIGNED NOT NULL DEFAULT '0' COMMENT '删除标志,默认0不删除,1删除',
  `update_time` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
  `create_time` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  PRIMARY KEY (`id`)
) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COMMENT='用户表';

swagger测试

http://38.60.35.171:6001/swagger-ui.html#/

关停

在对应的文件夹下docker-compose stop


docker轻量级可视化工具Portainer

是什么?

Portainer 是一款轻量级的应用,它提供了图形化界面,用于方便地管理Docker环境,包括单机环境和集群环境。


安装

官网

http://www.portainer.io/

步骤

docker命令安装

docker run -d -p 8000:8000 -p 9000:9000 --name portainer     --restart=always     -v /var/run/docker.sock:/var/run/docker.sock     -v /yama/portainer_data:/data portainer/portainer

第一次登录需创建admin,访问地址:xxx.xxx.xxx.xxx:9000

设置admin用户和密码后首次登陆


docker容器监控之CAdvisor+InfluxDB+Granfana

version: '3.1'


volumes:

  grafana_data: {}

services:
 influxdb:
  image: tutum/influxdb:0.9
  restart: always
  environment:
    - PRE_CREATE_DB=cadvisor
  ports:
    - "8083:8083"
    - "8086:8086"
  volumes:
    - ./data/influxdb:/data


 cadvisor:
  image: gcr.io/cadvisor/cadvisor:v0.44.0
  links:
    - influxdb:influxsrv
  command: -storage_driver=influxdb -storage_driver_db=cadvisor -storage_driver_host=influxsrv:8086
  restart: always
  ports:
    - "8080:8080"
  volumes:
    - /:/rootfs:ro
    - /var/run:/var/run:rw
    - /sys:/sys:ro
    - /var/lib/docker/:/var/lib/docker:ro

 grafana:
  user: "104"
  image: grafana/grafana
  user: "104"
  restart: always
  links:
    - influxdb:influxsrv
  ports:
    - "3000:3000"
  volumes:
    - grafana_data:/var/lib/grafana
  environment:
    - HTTP_USER=admin
    - HTTP_PASS=admin
    - INFLUXDB_HOST=influxsrv
    - INFLUXDB_PORT=8086
    - INFLUXDB_NAME=cadvisor
    - INFLUXDB_USER=root
    - INFLUXDB_PASS=root

启动测试:http://ip:3000

账号密码(admin/admin)

总结

License:  CC BY 4.0 test