Java笔记【1】docker introduction

🕗 发布于 2024-09-17 03:33 eclipse java tomcat guava docker

概述

为什么会有 docker 出现

之前在服务器配置一个应用的运行环境，要安装各种软件，Java/RabbitMQ/MySQL/JDBC 驱动包等。安装和配置这些东西有多麻烦就不说了，它还不能跨平台。假如我们是在 Windows 上安装的这些环境，到了 Linux 又得重新装。况且就算不跨操作系统，换另一台同样操作系统的服务器，要移植应用也是非常麻烦的。

传统上认为，软件编码开发/测试结束后，所产出的成果即是程序或是能够编译执行的二进制字节码等 (java 为例)。而为了让这些程序可以顺利执行，开发团队也得准备完整的部署文件，让维运团队得以部署应用程式，开发需要清楚的告诉运维部署团队，用的全部配置文件+所有软件环境。不过，即便如此，仍然常常发生部署失败的状况。Docker 的出现使得 Docker 得以打破过去「程序即应用」的观念。透过镜像 (images)将作业系统核心除外，运作应用程式所需要的系统环境，由下而上打包，达到应用程式跨平台间的无缝接轨运作。

Docker 理念

Docker 是基于 Go 语言实现的云开源项目。

Docker 的主要目标是“Build，Ship and Run Any App, Anywhere”，也就是通过对应用组件的封装、分发、部署、运行等生命周期的管理，使用户的 APP（可以是一个 WEB 应用或数据库应用等等）及其运行环境能够做到“一次镜像，处处运行”。

简单来讲，解决了运行环境和配置问题的软件容器，方便做持续集成并有助于整体发布的容器虚拟化技术。

容器与虚拟机比较

容器发展简史

传统虚拟机技术

虚拟机（virtual machine）就是带环境安装的一种解决方案。

它可以在一种操作系统里面运行另一种操作系统，比如在 Windows 10 系统里面运行 Linux 系统 CentOS 7。应用程序对此毫无感知，因为虚拟机看上去跟真实系统一模一样，而对于底层系统来说，虚拟机就是一个普通文件，不需要了就删掉，对其他部分毫无影响。这类虚拟机完美的运行了另一套系统，能够使应用程序，操作系统和硬件三者之间的逻辑不变。

虚拟机的缺点：

资源占用多 2. 冗余步骤多 3. 启动慢

容器虚拟化技术

由于前面虚拟机存在某些缺点，Linux 发展出了另一种虚拟化技术：

Linux 容器 (Linux Containers，缩写为 LXC)

Linux 容器是与系统其他部分隔离开的一系列进程，从另一个镜像运行，并由该镜像提供支持进程所需的全部文件。容器提供的镜像包含了应用的所有依赖项，因而在从开发到测试再到生产的整个过程中，它都具有可移植性和一致性。Linux 容器不是模拟一个完整的操作系统而是对进程进行隔离。有了容器，就可以将软件运行所需的所有资源打包到一个隔离的容器中。容器与虚拟机不同，不需要捆绑一整套操作系统，只需要软件工作所需的库资源和设置。系统因此而变得高效轻量并保证部署在任何环境中的软件都能始终如一地运行。

Docker 容器是在操作系统层面上实现虚拟化，直接复用本地主机的操作系统，而传统虚拟机则是在硬件层面实现虚拟化。与传统的虚拟机相比，Docker 优势体现为启动速度快、占用体积小。

对比

比较了 Docker 和传统虚拟化方式的不同之处：

传统虚拟机技术是虚拟出一套硬件后，在其上运行一个完整操作系统，在该系统上再运行所需应用进程；

容器内的应用进程直接运行于宿主的内核，容器内没有自己的内核且也没有进行硬件虚拟。因此容器要比传统虚拟机更为轻便。

每个容器之间互相隔离，每个容器有自己的文件系统，容器之间进程不会相互影响，能区分计算资源。

优点

一次构建、随处运行

更快速的应用交付和部署：传统的应用开发完成后，需要提供一堆安装程序和配置说明文档，安装部署后需根据配置文档进行繁杂的配置才能正常运行。Docker化之后只需要交付少量容器镜像文件，在正式生产环境加载镜像并运行即可，应用安装配置在镜像里已经内置好，大大节省部署配置和测试验证时间。

更便捷的升级和扩缩容：随着微服务架构和Docker的发展，大量的应用会通过微服务方式架构，应用的开发构建将变成搭乐高积木一样，每个Docker容器将变成一块“积木”，应用的升级将变得非常容易。当现有的容器不足以支撑业务处理时，可通过镜像运行新的容器进行快速扩容，使应用系统的扩容从原先的天级变成分钟级甚至秒级。

更简单的系统运维：应用容器化运行后，生产环境运行的应用可与开发、测试环境的应用高度一致，容器会将应用程序相关的环境和状态完全封装起来，不会因为底层基础架构和操作系统的不一致性给应用带来影响，产生新的BUG。当出现程序异常时，也可以通过测试环境的相同容器进行快速定位和修复。

更高效的计算资源利用：Docker是内核级虚拟化，其不像传统的虚拟化技术一样需要额外的Hypervisor支持，所以在一台物理机上可以运行很多个容器实例，可大大提升物理服务器的CPU和内存的利用率。

参考

官网：docker 官网

仓库：Docker Hub 官网

概述

传统虚拟机技术

虚拟机技术使用虚拟化层（如 VMware 或 KVM）来模拟一个完整的操作系统环境。这种方式为应用程序提供了一个完整的硬件抽象层，使其可以在任何支持虚拟化的硬件上运行。虽然这种方法提供了高度的隔离性和安全性，但也带来了额外的资源开销和启动延迟。

容器虚拟化技术

容器虚拟化技术在操作系统的级别提供隔离性，而不是模拟一个完整的操作系统。这意味着容器共享宿主机的操作系统内核，只包含应用程序及其所需的库文件。容器之间的隔离是通过命名空间（namespaces）和控制组（control groups，cgroups）等机制实现的。这种方法减少了资源开销，并且提高了启动速度。

对比

资源消耗：容器共享宿主机内核，因此它们占用更少的内存和CPU资源。
启动时间：容器几乎瞬间启动，而虚拟机需要几分钟来启动完整的操作系统。
隔离性：虚拟机提供更强的隔离性，而容器提供的是基于进程的隔离。
灵活性：容器可以轻松地在不同的环境中移动，而虚拟机则需要更多的配置工作。
可移植性：容器可以跨操作系统平台运行，只要宿主机支持容器技术。

优点

一致性和可预测性：容器确保了开发、测试和生产环境之间的一致性，减少了环境差异导致的问题。
资源效率：容器使用较少的资源，可以更有效地利用硬件资源。
快速部署：容器的轻量级特性使得它们能够快速部署和扩展。
易于管理：容器可以通过自动化工具轻松管理和编排。
安全隔离：容器提供了良好的隔离，有助于提高应用程序的安全性。
版本控制：容器镜像可以存储在版本控制系统中，便于跟踪更改历史。
标准化：容器提供了一种标准化的方式来进行软件部署和分发。

参考

官网：访问 Docker 官方网站了解最新动态和技术文档。
仓库：Docker Hub 是一个集中式的容器镜像仓库，用户可以在这里查找、分享和分发容器镜像。
社区论坛：Docker 社区论坛可以帮助解决具体问题和技术难题。
文档和教程：许多在线资源提供了详细的 Docker 教程和最佳实践指南。
书籍：市面上有许多关于 Docker 的书籍，涵盖了从基础知识到高级主题的各个方面。

额外知识

Docker 架构

Docker 客户端：用户与 Docker 交互的主要界面，可以是命令行工具 (docker CLI) 或者图形用户界面。客户端发送命令到 Docker 守护进程。
Docker 守护进程：运行在宿主机上，处理来自客户端的命令，管理容器和镜像。守护进程监听 Docker socket，等待客户端的连接。
Docker 镜像：容器的基础，包含运行应用程序所需的所有文件和依赖项。镜像是只读的，可以被多个容器共享。
Docker 容器：运行中的镜像实例，每个容器都是一个隔离的运行环境。容器可以启动、停止和删除。
Docker 存储：用于存储容器的数据卷，可以持久化数据，即使容器停止运行。数据卷可以挂载到容器内部，以实现数据的持久化。
Docker 网络：管理容器间的通信，支持桥接、覆盖网络等多种网络模式。Docker 网络提供了容器间的服务发现和端口映射等功能。

Docker 命令行工具

docker run：创建并运行一个新的容器。这个命令可以从一个镜像创建一个新的容器，并启动它。
docker build：从 Dockerfile 构建一个镜像。Dockerfile 是一个文本文件，其中包含了一系列命令，用来构建镜像。
docker push：将镜像推送到 Docker Hub 或其他注册表。这样可以让其他用户下载和使用这个镜像。
docker pull：从 Docker Hub 或其他注册表拉取镜像。这个命令可以获取一个镜像，并将其保存在本地。
docker images：列出本地系统上的镜像。可以查看当前系统上有哪些镜像。
docker ps：列出正在运行的容器。可以查看哪些容器正在运行，以及它们的状态。
docker exec：在正在运行的容器中执行命令。这个命令可以在一个已经运行的容器中执行新的命令。
docker stop：停止一个正在运行的容器。可以优雅地停止容器，使其执行清理操作。
docker rm：删除一个或多个容器。可以删除不再需要的容器。
docker rmi：删除一个或多个镜像。可以删除不再需要的镜像。

Docker Compose

Docker Compose 是一个工具，用于定义和运行多容器 Docker 应用程序。通过 docker-compose.yml 文件定义服务、网络和卷，可以轻松地管理复杂的多容器部署。docker-compose up 命令可以启动整个应用程序的容器。
服务：每个服务代表一个运行中的容器或一组容器。服务定义了容器的镜像、环境变量、端口映射等配置。
网络：定义容器之间的网络连接，支持服务发现和端口映射。
卷：定义容器间的数据共享和持久化存储。

Docker Swarm

Docker Swarm 是 Docker 的原生集群管理工具，它允许用户将一组 Docker 守护进程作为一个集群来管理，以便进行服务部署、负载均衡和滚动更新等操作。
节点：Docker Swarm 由管理节点和工作节点组成。管理节点负责集群管理任务，工作节点则运行任务和服务。
服务：在 Swarm 模式下，服务定义了要部署的应用程序及其配置。服务可以水平扩展，以应对负载变化。
任务：每个服务由一个或多个任务组成，每个任务是一个容器实例。

Kubernetes

Kubernetes（通常简称 k8s）是一种流行的容器编排系统，用于自动化容器化应用程序的部署、扩展和管理。Kubernetes 提供了更高的可用性和弹性，适用于大规模生产环境。
Pods：Kubernetes 中的最小部署单元，可以包含一个或多个容器。
Services：定义如何访问 Pod，提供网络服务发现和负载均衡。
Deployments：用于定义 Pod 的期望状态，支持滚动更新和回滚。
Volumes：用于在 Pod 之间共享数据和持久化存储。

Docker 安全性

最小权限原则：使用非 root 用户运行容器，减少潜在的攻击面。
容器隔离：使用命名空间和 cgroups 实现进程和资源隔离。
扫描工具：使用安全扫描工具检查镜像中的漏洞。例如，使用 Clair 或 Trivy 等工具进行镜像扫描。
安全基线：遵循安全基线来配置容器和宿主机。例如，使用 CIS Docker 基准来评估和加固 Docker 环境。
私有注册表：使用私有注册表存储和分发镜像，减少对外部网络的依赖，并控制镜像的来源和安全性。
签名和认证：使用 Docker Content Trust 等工具对镜像进行签名，确保镜像的完整性和来源可信度。

实战案例

开发环境一致性：开发团队可以使用 Docker 来创建一致的开发环境，确保所有开发人员都在相同的环境中工作。
CI/CD 流水线：Docker 可以被集成到 CI/CD 工具中，例如 Jenkins 或 GitLab CI，以自动化构建、测试和部署流程。
微服务架构：在微服务架构中，每个服务都可以被打包成一个容器，这使得服务更容易部署和扩展。
DevOps 实践：Docker 支持 DevOps 实践，如持续集成和持续部署 (CI/CD)，通过容器化应用程序，可以快速地进行版本迭代和部署。

最佳实践

构建轻量级镜像：使用官方的基础镜像，并尽量减少镜像中的层数和大小。
使用缓存：在构建过程中利用 Docker 的缓存机制来加速构建过程。
使用 .dockerignore 文件：排除不必要的文件和目录，以减小镜像大小。
使用环境变量：在 Dockerfile 中使用环境变量来传递配置信息，以实现更好的灵活性。
容器健康检查：定义容器的健康检查策略，确保容器正常运行。
监控和日志：使用监控工具和日志管理工具来监控容器的状态和收集日志。

Docker 的出现原因

Docker 的出现主要是为了应对软件开发和部署过程中的常见挑战：

环境一致性问题：开发、测试和生产环境之间的配置差异经常导致所谓的“在我的机器上运行正常”(It works on my machine) 问题。
资源利用率问题：传统虚拟机技术虽然提供了很好的隔离性，但由于每个虚拟机都需要一个完整的操作系统副本，这导致了资源利用率低下。
部署复杂性问题：传统应用部署往往涉及大量的手动配置步骤，这增加了出错的可能性，并且降低了部署效率。
可移植性和可重复性问题：缺乏一种简单的方法来打包应用及其依赖项，导致难以在不同的环境中复制相同的部署。

Docker 的理念

Docker 的核心理念是通过容器化技术来实现应用及其运行环境的一致性和可移植性。其主要目标包括：

Build：通过 Dockerfile 定义应用的构建过程，确保每次构建的结果都是一致的。
Ship：容器镜像可以轻松地从一个环境转移到另一个环境，无需担心底层环境差异。
Run：容器镜像可以在任何支持 Docker 的平台上运行，无论是在开发者的笔记本电脑上还是在生产服务器上。

容器与虚拟机比较