Doris 分布式数据仓库 Docker 部署详解

Doris 是一款 开源 的 分布式数据仓库，专为 大规模数据存储与分析 设计。通过 Docker 部署 Doris，可以快速搭建高效的数据分析平台。本文将为您提供一个 详细 的 Doris Docker 部署教程，确保每一步都清晰易懂，适用于不同的操作系统环境。

目录

1. 前言
2. 部署前的准备工作
3. 步骤一：安装 Docker
4. 步骤二：拉取 Doris Docker 镜像
5. 步骤三：创建 Doris 配置文件
6. 步骤四：启动 Doris 容器
7. 步骤五：访问 Doris Web 界面
8. 常见问题与解决方案
9. 总结

前言

在大数据时代，高效的数据仓库系统对于企业的数据分析与决策至关重要。Doris 以其 高性能、易扩展 和 友好的用户界面，成为众多企业的首选。通过 Docker 部署 Doris，不仅简化了安装过程，还提升了系统的 可移植性 和 可维护性。

部署前的准备工作

在开始部署 Doris 之前，请确保您的系统满足以下 基本要求：

• 操作系统：支持 Docker 的主流操作系统，如 Linux、Windows 或 macOS。
• 硬件要求：CPU：至少 2 核 以上。内存：至少 4 GB，推荐 8 GB 以上。存储：根据数据规模，建议 100 GB 以上的可用空间。
• 网络要求：确保服务器可以访问互联网，以便拉取 Docker 镜像。

此外，建议 更新系统 到最新状态，确保 Docker 及相关依赖能够顺利安装和运行。

步骤一：安装 Docker

Docker 是一个开源的 容器化平台，允许开发者将应用及其依赖打包到一个可移植的容器中。以下是 不同操作系统 上 Docker 的安装方法：

1.1. Linux 系统

以 Ubuntu 为例，执行以下命令安装 Docker：

sudo apt-get update
sudo apt-get install \
    ca-certificates \
    curl \
    gnupg \
    lsb-release

添加 Docker 的官方 GPG 密钥：

sudo mkdir -p /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg

设置 Docker 仓库：

echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \
  $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

安装 Docker Engine：

sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

验证 Docker 是否安装成功：

sudo docker run hello-world

1.2. Windows 系统

1. 访问 Docker 官方网站 下载 Docker Desktop 安装包。
2. 双击安装包，按照提示完成安装。
3. 安装完成后，启动 Docker Desktop，确保其正在运行。

1.3. macOS 系统

1. 前往 Docker 官方网站 下载 Docker Desktop for Mac。
2. 打开下载的 .dmg 文件，将 Docker 拖拽到 Applications 文件夹。
3. 启动 Docker，完成初始设置。

步骤二：拉取 Doris Docker 镜像

Docker Hub 上提供了 Doris 的官方镜像，您可以通过以下命令拉取最新版本的 Doris 镜像：

docker pull apache/doris

解释：

• docker pull：用于从 Docker 仓库拉取镜像。
• apache/doris：指定要拉取的 Doris 镜像名称。

此命令将从 Docker Hub 下载最新版本的 Doris 镜像到本地。如果需要特定版本，可以在镜像名称后添加标签，例如 apache/doris:1.2.3。

步骤三：创建 Doris 配置文件

Doris 的配置文件用于定义集群参数、数据库设置等。以下是创建配置文件的步骤：

3.1. 创建配置目录

首先，在本地创建一个目录，用于存放 Doris 的配置文件和数据：

mkdir -p /path/to/doris/conf
mkdir -p /path/to/doris/data

解释：

• mkdir -p：创建目录，如果上级目录不存在则一并创建。
• /path/to/doris/conf：存放配置文件的目录。
• /path/to/doris/data：存放 Doris 数据的目录。

3.2. 创建doris.conf配置文件

在 /path/to/doris/conf 目录下创建一个名为 doris.conf 的文件，内容可以参考以下模板：

# Doris 配置文件示例

# 集群名称
cluster.name = "doris_cluster"

# 节点配置
fe.http.port=8030
fe.query.port=8030
be.rpc.port=9050

# 数据存储路径
storage.path = "/apache-doris-/data"

# 其他配置选项根据需求调整

解释：

• cluster.name：定义 Doris 集群的名称，便于管理多个集群。
• fe.http.port、fe.query.port、be.rpc.port：分别定义 Frontend 和 Backend 的端口号。
• storage.path：指定数据存储的路径，应与 Docker 运行时挂载的本地数据目录保持一致。

注意：根据具体需求，您可能需要调整更多配置选项，建议参考 Doris 官方文档以获取详细的配置指南。

步骤四：启动 Doris 容器

使用 Docker 启动 Doris 容器，并将配置文件和数据目录挂载到容器中：

docker run -d \
  -v /path/to/doris/conf:/apache-doris-/conf \
  -v /path/to/doris/data:/apache-doris-/data \
  -p 8030:8030 \
  -p 8031:8031 \
  -p 8032:8032 \
  -p 8033:8033 \
  -p 8040:8040 \
  -p 8041:8041 \
  --name doris \
  apache/doris

命令详解：

• docker run：创建并启动一个新的容器。
• -d：以 后台 模式运行容器。
• -v /path/to/doris/conf:/apache-doris-/conf：将本地配置目录挂载到容器内指定路径。
• -v /path/to/doris/data:/apache-doris-/data：将本地数据目录挂载到容器内指定路径。
• -p 8030:8030 至 -p 8041:8041：将宿主机的端口映射到容器内的对应端口，确保 Doris 服务可通过这些端口访问。
• --name doris：为容器指定一个名称，方便后续管理。
• apache/doris：指定要运行的 Doris 镜像。

?? 注意事项：

• 将 /path/to/doris/conf 和 /path/to/doris/data 替换为您实际的本地目录路径。
• 应替换为 Doris 的具体版本号，例如 apache-doris-1.2.3。
• 确保本地目录具有适当的读写权限，以避免容器启动失败。

步骤五：访问 Doris Web 界面

Doris 提供了一个 用户友好 的 Web 界面，便于管理和查询数据。按照以下步骤访问 Doris 的 Web 界面：

1. 打开您的 Web 浏览器。
2. 在地址栏输入 http://localhost:8030 并回车。
3. 您将看到 Doris 的登录界面，使用默认的 管理员凭证 进行登录（具体凭证请参考 Doris 的初始设置）。
4. 登录后，您可以开始创建数据库、导入数据和执行查询等操作。

小贴士：

• 为了安全起见，建议在生产环境中修改默认的管理员凭证。
• 可以通过 Doris 的 Web 界面监控集群状态、查询性能和资源使用情况。

常见问题与解决方案

Q1. 容器无法启动，提示端口被占用怎么办？

解决方案：

• 检查本地是否已有服务占用了 Doris 所需的端口（如 8030、8031 等）。
• 使用 netstat -tuln | grep <端口号> 命令查看端口使用情况。
• 如果端口被占用，可以选择停止占用该端口的服务，或者修改 Doris 配置文件中的端口号，并相应调整 Docker 端口映射。

Q2. 如何查看容器日志？

解决方案：

使用以下命令查看 Doris 容器的实时日志：

docker logs -f doris

解释：

• docker logs：查看容器的日志。
• -f：实时跟随日志输出。
• doris：容器名称。

通过日志，可以诊断启动过程中的错误或性能问题。

Q3. 如何进入运行中的 Doris 容器？

解决方案：

使用以下命令进入容器的命令行界面：

docker exec -it doris /bin/bash

解释：

• docker exec：在运行中的容器中执行命令。
• -it：以交互模式运行，并分配一个伪终端。
• doris：容器名称。
• /bin/bash：要执行的命令，进入 Bash Shell。

在容器内，您可以执行各种管理任务，如查看配置文件、重启服务等。

Q4. 如何更新 Doris 到最新版本？

解决方案：

1. 停止并移除当前运行的 Doris 容器：
2. docker stop doris docker rm doris
3. 拉取最新版本的 Doris 镜像：
4. docker pull apache/doris:latest
5. 启动新的 Doris 容器，确保挂载的配置和数据目录保持不变：
6. docker run -d \ -v /path/to/doris/conf:/apache-doris-/conf \ -v /path/to/doris/data:/apache-doris-/data \ -p 8030:8030 \ -p 8031:8031 \ -p 8032:8032 \ -p 8033:8033 \ -p 8040:8040 \ -p 8041:8041 \ --name doris \ apache/doris:latest

?? 注意：

• 在更新前，建议备份配置文件和数据，以防止数据丢失。
• 检查新版本的发布说明，了解可能的兼容性问题或配置变化。

总结

通过以上步骤，您已经成功在 Docker 环境中部署了 Doris 分布式数据仓库。从安装 Docker 到配置和启动 Doris 容器，每一步都经过详细讲解，确保您能够 顺利 完成部署。Doris 作为一个 高性能 的数据仓库解决方案，结合 Docker 的 便捷性，为您的数据分析需求提供了强大的支持。

在实际使用中，您可以根据具体需求，进一步优化 Doris 的配置，扩展集群规模，或集成其他数据处理工具。持续关注 Doris 的 官方文档 和 社区动态，以获取最新的功能更新和最佳实践，助力您的数据分析工作迈向更高的水平。

开始使用 Doris，释放数据的无限潜力吧！