druid-docs-cn/tutorials/cluster.md

# 集群方式部署

Apache Druid 被设计部署为可扩展和容错的集群部署方式。

在本文档中，我们将会设置一个示例集群，并且进行一些讨论，你可以进行那些修改来满足你的需求。

这个简单的集群包括有下面的特性：

 - 主服务器（Master Server）将会运行 Coordinator 和 Overlord 进程
 - 2 个可扩展和容错的数据服务器将会运行 Historical 和 MiddleManager 进程
 - 一个查询服务器（Query Server）将会运行 Broker 和 Router 进程

在生产环境中，我们建议你部署多个 Master 服务器和多个 Query 服务器，服务器的高可用性（fault-tolerant）配置与你的数据特性和容错性要求息息相关。
但是你可以使用一个主服务器（Master Server） 和 一个查询服务器（Query Server）来启动服务，随着需求的增加你可以随时增加更多的服务器节点。

## 选择硬件

### 全新部署

如果你没有已经存在的 Druid 集群，但是你希望开始在你的环境中使用集群方式部署 Druid，本文档将会使用预配置（pre-made configurations）内容来帮助你开始部署 Druid 的集群。

#### 主服务器（Master Server）

Coordinator 和 Overlord 进程将会负责处理 metadata 数据和在你集群中进行协调。这 2 个进程可以合并在同一个服务器上。

在本示例中，我们将会在 AWS [m5.2xlarge](https://aws.amazon.com/ec2/instance-types/m5/) 部署一个评估的服务器和实例。

AWS 上面硬件的配置为：

- 8 vCPUs
- 31 GB RAM

有关本服务器的配置信息和有关硬件大小的建议，可以在文件 `conf/druid/cluster/master` 中找到。

#### 数据服务器（Data server）

Historicals 和 MiddleManagers 可以合并到同一个服务器上，这个 2 个进程在你的集群中用于处理实际的数据。通常来说越大 CPU, RAM, SSDs硬盘越好。

在本示例中，我们将会在  [i3.4xlarge](https://aws.amazon.com/ec2/instance-types/i3/) 部署一个评估的服务器和实例。

AWS 上面硬件的配置为：

- 16 vCPUs
- 122 GB RAM
- 2 * 1.9TB SSD storage

有关本服务器的配置信息和有关硬件大小的建议，可以在文件 `conf/druid/cluster/data` 中找到。

#### 查询服务器（Query server）

Druid Brokers 可以接受查询，并且将接受的查询发送到集群中处理。同时他们也负责维护内存中的查询缓存， 常来说越大的 CPU, RAM 越好。

在本示例中，我们将会在  [m5.2xlarge](https://aws.amazon.com/ec2/instance-types/m5/) 部署一个评估的服务器和实例。

AWS 上面硬件的配置为：

- 8 vCPUs
- 31 GB RAM

你也可以考虑在运行 Broker 进程的查询服务器上部署任何开源的 UI 或者查询库。

有关本服务器的配置信息和有关硬件大小的建议，可以在文件，可以在文件 `conf/druid/cluster/query` 中找到。

#### 其他硬件大小
上面的示例集群配置是从多种确定 Druid 集群可能的配置方式中选择的一个示例。

您可以根据自己的特定需求和要求来选择 较小/较大的硬件配置或 较少/更多的服务器数量。
如果你的使用实例有比较复杂的可扩展性要求，你也可以选择不将进程合并到服务器上的配置方案，而针对每一个进程配置一台服务器（例如，你可以配置一个独立的 Historical 服务器）。

有关更多的配置信息，请参考页面 [basic cluster tuning guide](../operations/basic-cluster-tuning.md) 中的内容，能够帮助你如何对你的配置进行配置和扩展。

### 从独立服务器部署上合并到集群

如果你已经有一个已经存在并且独立运行的独立服务器部署的话，例如在页面 [single-server deployment examples](../operations/single-server.md) 中部署的服务器，
现在你希望将这个独立部署的服务器合并到集群的部署方式中的话，下面的这部分内容将会帮助你完成这个切换和合并的过程。
这个过程包括有如何对硬件进行的选择和针对 Master/Data/Query 服务器应该如何进行组织。

#### 主服务器（Master Server）
针对主服务器主要需要考虑的就是 Coordinator 和 Overlord 进程的 CPU 使用和 RAM 内存的 heaps。

从单独服务器部署的实例中找到 Coordinator 和 Overlord 进程的总计 heap 内存使用大小，然后在新的集群服务上选择硬件时候的 RAM 内存选择，需要有这 2 个进程合并 heap 的大小。
同时还需要准备为这台服务器留够足够的内存供其他进程使用。

针对服务器使用的 CPU 内核，你可以只选择在单独部署情况下的 1/4 即可。

#### 数据服务器（Data server）
当对数据服务器进行选择的时候，主要考虑的是 CPU 数量和 RAM 内存数量，同时如果能够使用 SSD 固态硬盘就更好了。

在针对集群的部署中，如果能够使用多台服务器来部署数据服务器就更好了，因为这样能够让集群拥有更多的冗余来保障持续运行。

当针对数据服务器选择硬件的时候，你可以选择分裂因子 'N'，针对原始独立服务器部署的时候的 CPU/RAM 的数量除以 N， 然后按照除以 'N' 后的结果来确定集群服务器的硬件要求。

针对 Historical/MiddleManager 的配置调整和分离将会在本页面后部分的指南中进行说明。

#### 查询服务器（Query server）
当对数据服务器进行选择的时候，主要考虑的是 CPU 数量，RAM 内存数量和 Broker 进程的的 heap 内存加上直接内存（direct memory），以及 Router 进程的 heap 内存。

将 Broker 和 Router 进程在独立服务器上使用的内存数量相加，然后选择的查询服务器的内存需要足够大的内存来覆盖 Broker/Router 进程使用内存相加的结果。
同时还需要准备为这台服务器留够足够的内存供其他进程使用。

针对服务器使用的 CPU 内核，你可以只选择在单独部署情况下的 1/4 即可。

请参考 [basic cluster tuning guide](../operations/basic-cluster-tuning.md) 页面中的内容，来确定如何计算 Broker/Router 进程使用的内存。

## 选择操作系统

我们推荐你使用任何你喜欢的 Linux 操作系统。同时你需要安装：

  * **Java 8 或者更新的版本**

> **警告：** Druid 目前只能官方的支持 Java 8。如果你使用其他的 JDK 版本，那么很多功能可能是实践性的的。
>
> 如果需要的话，你可以在你的系统环境中定义环境变量 `DRUID_JAVA_HOME` 或 `JAVA_HOME`，来告诉 Druid 到哪里可以找到需要的 JDK 版本。
> 可以运行 Druid 程序中的 `bin/verify-java` 脚本来查看当前运行的 Java 版本。

你的操作系统包管理工具应该能够帮助你在操作系统中安装 Java。
如果你使用的是基于 Ubuntu 的操作系统，但是这个操作系统没有提供的最新版本的 Java 的话，请尝试访问 WebUpd8 页面中的内容： [packages for those
OSes](http://www.webupd8.org/2012/09/install-oracle-java-8-in-ubuntu-via-ppa.html) 。

## 下载发行版本
首先，需要下载并且解压缩相关的归档文件。
最好先在单台计算机上进行相关操作。因为随后你需要在解压缩的包内对配置进行修改，然后将修改后的配置发布到所有的其他服务器上。

[apache-druid-0.21.1 下载地址](https://www.apache.org/dyn/closer.cgi?path=/druid/apache-druid-0.21.1/apache-druid-apache-druid-0.21.1-bin.tar.gz)

在控制台中使用下面的命令来进行解压：

```bash
tar -xzf apache-druid-apache-druid-0.21.1-bin.tar.gz 
cd apache-druid-apache-druid-0.21.1
```

在解压后的包中，你应该能够看到：

* `LICENSE` 和 `NOTICE` 文件
* `bin/*` - 启动或停止的脚本，这是针对独立服务器进行部署的，请参考页面： [独立服务器部署快速指南](../tutorials/index.md)
* `conf/druid/cluster/*` - 针对集群部署的配置和设置文件
* `extensions/*` - Druid 核心扩展
* `hadoop-dependencies/*` - Druid Hadoop 依赖
* `lib/*` - Druid 核心库和依赖
* `quickstart/*` - 独立服务器配置的相关文件，这是针对独立服务器进行部署的，请参考页面： [独立服务器部署快速指南](../tutorials/index.md)

如果你需要让你的集群能够启动的话，我们将会对 `conf/druid/cluster/` 中的内容进行编辑。

### 从独立服务器部署上进行合并
如果需要完成后续页面的部署和配置的话，你需要对 `conf/druid/cluster/` 中的内容进行编辑。

如果你已经有一个正在运行的独立服务器部署的话，请拷贝你已经存在的配置文件到 `conf/druid/cluster` 文件夹中，以保证你已有的配置文件不丢失。

## 配置 metadata 存储和深度存储（deep storage） 

### 从独立服务器部署上合并到集群
如果您已经有一个独立服务器的部署实例，并且希望在整个迁移过程中保留数据，请在对元数据进行迁移之前先阅读：
* [metadata migration](../operations/metadata-migration.md) 
* [deep storage migration](../operations/deep-storage-migration.md)

本指南中的元数据迁移是针对你将原数据存储在 Derby 数据库中，同时你的深度存储也是使用的 Derby 数据库。
如果你在单实例部署的服务器上已经使用了非 Derby 的数据库存储元数据或者分布式深度存储的那，那么你可以在新的集群环境中使用已经存在并且使用的存储方案。

本指南还提供了从本地深度存储中进行段合并的信息。
集群环境的部署是需要配置深度存储的，例如 S3 或 HDFS。 
如果单实例部署已在使用分布式深度存储，则可以在新集群中继续使用当前的深度存储。

### 元数据存储

在 `conf/druid/cluster/_common/common.runtime.properties` 配置文件中，替换 "metadata.storage.*" 的的属性来确定元数据存储的服务器地址。
元数据通常是存储在数据库中的，因此你可以在这里配置你的数据库服务器地址。

- `druid.metadata.storage.connector.connectURI`
- `druid.metadata.storage.connector.host`

在实际的生产环境中，我们推荐你使用独立的元数据存储数据库例如 MySQL 或者 PostgreSQL 来增加冗余性。
这个配置将会在 Druid 服务器外部配置一个数据库连接来保留一套元数据的配置信息，以增加数据冗余性。

[MySQL extension](../development/extensions-core/mysql.md) 和 [PostgreSQL extension](../development/extensions-core/postgresql.md) 
页面中有如何对扩展进行配置和对数据库如何进行初始化的说明，请参考上面页面中的内容。

### 深度存储
Druid 依赖分布式文件系统或者一个大对象（blob）存储来对数据进行存储。
最常用的深度存储的实现通常使用的是 S3 (如果你使用的是 AWS 的话)或者 HDFS（如果你使用的是 Hadoop 部署的话）。

#### S3

在文件 `conf/druid/cluster/_common/common.runtime.properties`，

- 添加 "druid-s3-extensions" 到 `druid.extensions.loadList`。

- 在 "Deep Storage" 和 "Indexing service logs" 部分的配置中，注释掉本地存储的配置。

- 在 "Deep Storage" 和 "Indexing service logs" 部分的配置中，取消注释 "For S3" 部分有关的配置。

在完成上面的操作后，你的配置文件应该看起来和下面的内容相似：

```
druid.extensions.loadList=["druid-s3-extensions"]

#druid.storage.type=local
#druid.storage.storageDirectory=var/druid/segments

druid.storage.type=s3
druid.storage.bucket=your-bucket
druid.storage.baseKey=druid/segments
druid.s3.accessKey=...
druid.s3.secretKey=...

#druid.indexer.logs.type=file
#druid.indexer.logs.directory=var/druid/indexing-logs

druid.indexer.logs.type=s3
druid.indexer.logs.s3Bucket=your-bucket
druid.indexer.logs.s3Prefix=druid/indexing-logs
```

请参考 [S3 extension](../development/extensions-core/s3.md) 页面中的内容来获得更多的信息。

#### HDFS

在文件 `conf/druid/cluster/_common/common.runtime.properties`，

- 添加 "druid-hdfs-storage" 到 `druid.extensions.loadList`。

- 在 "Deep Storage" 和 "Indexing service logs" 部分的配置中，注释掉本地存储的配置。

- 在 "Deep Storage" 和 "Indexing service logs" 部分的配置中，取消注释 "For HDFS" 部分有关的配置。 

在完成上面的操作后，你的配置文件应该看起来和下面的内容相似：

```
druid.extensions.loadList=["druid-hdfs-storage"]

#druid.storage.type=local
#druid.storage.storageDirectory=var/druid/segments

druid.storage.type=hdfs
druid.storage.storageDirectory=/druid/segments

#druid.indexer.logs.type=file
#druid.indexer.logs.directory=var/druid/indexing-logs

druid.indexer.logs.type=hdfs
druid.indexer.logs.directory=/druid/indexing-logs
```

同时,

- 在你 Druid 启动进程的的 classpath 中，请替换掉你的 Hadoop 配置 XMLs 文件(core-site.xml, hdfs-site.xml, yarn-site.xml,
  mapred-site.xml)，或者你可以直接拷贝上面的文件到 `conf/druid/cluster/_common/` 中。

请参考  [HDFS extension](../development/extensions-core/hdfs.md) 页面中的内容来获得更多的信息。


## Hadoop 连接配置（可选）
如果你希望从 Hadoop 集群中加载数据，那么你需要对你的 Druid 集群进行下面的一些配置：

- 更新 `conf/druid/cluster/middleManager/runtime.properties` 文件中的 `druid.indexer.task.hadoopWorkingPath` 配置选项。
  将 HDFS 配置路径文件更新到一个你期望使用的临时文件存储路径。`druid.indexer.task.hadoopWorkingPath=/tmp/druid-indexing` 为通常的配置。
- 将你的 Hadoop XMLs配置文件（core-site.xml, hdfs-site.xml, yarn-site.xml, mapred-site.xml）放到你的 Druid 进程中。
  你可以将 `conf/druid/cluster/_common/core-site.xml`, `conf/druid/cluster/_common/hdfs-site.xml` 拷贝到 `conf/druid/cluster/_common` 目录中。

请注意，你不需要为了从 Hadoop 中载入数据而使用 HDFS 深度存储。

例如，如果您的集群在 Amazon Web Services 上运行，即使已经使用 Hadoop 或 Elastic MapReduce 加载数据，我们也建议使用 S3 进行深度存储。

有关更多的信息，请参考  [Hadoop-based ingestion](../ingestion/hadoop.md) 页面中的内容。


## 配置 Zookeeper 连接
在实际的生产环境中，我们建议你使用专用的 ZK 集群来进行部署。ZK 的集群与 Druid 的集群部署是分离的。

在 `conf/druid/cluster/_common/common.runtime.properties` 配置文件中，设置
`druid.zk.service.host` 为 [connection string](https://zookeeper.apache.org/doc/current/zookeeperProgrammers.html)。
在连接配置中使用的是逗号分隔符（host:port 对），每一个对应的是一个 ZK 的服务器，（例如, "127.0.0.1:4545" or "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002"）。

你也可以选择在 Master 服务器上运行 ZK，而不使用专用的 ZK 集群。
如果这样做的话，我们建议部署 3 个 Master 服务服务器，以便具有 ZK 仲裁（因为 Zookeeper 的部署至少需要 3 个服务器，并且服务器的总数量为奇数）。

## 配置调整

### 从一个单独部署服务器上进行合并

#### Master 服务

如果你已经有一个已经存在并且独立运行的独立服务器部署的话，例如在页面 [single-server deployment examples](../operations/single-server.md) 中部署的服务器，
下面的这个示例将会帮助你将 Coordinator 和 Overlord 合并到一个进程上面

`conf/druid/cluster/master/coordinator-overlord` 下面的示例，显示例如如何同时合并 Coordinator 和 Overlord 进程。

你可以从已经部署的独立服务器上拷贝已经存在 `coordinator-overlord` 配置文件，并部署到 `conf/druid/cluster/master/coordinator-overlord`。

#### Data 服务
假设我们将要从一个 32 CPU 和 256GB 内存的独立服务器上进行合并。
在老的部署中，下面的配置是针对 Historicals 和  MiddleManagers 进程的：

Historical（独立服务器部署）

```
druid.processing.buffer.sizeBytes=500000000
druid.processing.numMergeBuffers=8
druid.processing.numThreads=31
```

MiddleManager（独立服务器部署）

```
druid.worker.capacity=8
druid.indexer.fork.property.druid.processing.numMergeBuffers=2
druid.indexer.fork.property.druid.processing.buffer.sizeBytes=100000000
druid.indexer.fork.property.druid.processing.numThreads=1
```

在集群部署环境中，我们可以选择使用 2 个服务器来运行上面的 2 个服务，这 2 个服务器的配置为 16CPU 和 128GB RAM 。
我们将会按照下面的配置方式进行配置：

Historical

- `druid.processing.numThreads`: 基于配置的新硬件环境，设置为 `(num_cores - 1)` 
- `druid.processing.numMergeBuffers`: 针对独立服务器使用的数量使用分裂因子相除
- `druid.processing.buffer.sizeBytes`: 保持不变

MiddleManager:

- `druid.worker.capacity`: 针对独立服务器使用的数量使用分裂因子相除
- `druid.indexer.fork.property.druid.processing.numMergeBuffers`: 保持不变
- `druid.indexer.fork.property.druid.processing.buffer.sizeBytes`: 保持不变
- `druid.indexer.fork.property.druid.processing.numThreads`: 保持不变

在完成上面配置后的结果如下：

集群 Historical (使用 2 个数据服务器)

```
 druid.processing.buffer.sizeBytes=500000000
 druid.processing.numMergeBuffers=8
 druid.processing.numThreads=31
```

集群 MiddleManager (使用 2 个数据服务器)

```
druid.worker.capacity=4
druid.indexer.fork.property.druid.processing.numMergeBuffers=2
druid.indexer.fork.property.druid.processing.buffer.sizeBytes=100000000
druid.indexer.fork.property.druid.processing.numThreads=1
```

#### Query 服务
你可以将已经在独立服务器部署中存在的配置文件拷贝到 `conf/druid/cluster/query` 目录中完成部署。
如果新的服务器的硬件配置和独立服务器的配置是相对的话，新的部署不需要做修改。

### 刷新部署 deployment

如果你使用下面的服务器配置环境为示例的话：
- 1 Master server (m5.2xlarge)
- 2 Data servers (i3.4xlarge)
- 1 Query server (m5.2xlarge)

在 `conf/druid/cluster` 文件夹中的配置文件已经针对上面的硬件环境进行了优化，针对基本情况的使用来说，你不需要针对上面的配置进行修改。

如果你选择使用不同的硬件的话，页面 [basic cluster tuning guide](../operations/basic-cluster-tuning.md) 中的内容能够帮助你对你的硬件配置做一些选择。

## 打开端口（如果你使用了防火墙的话）

如果你的服务使用了防火墙，或者一些网络配置中限制了端口的访问的话。那么你需要在你的服务器上开放下面的端口，并运行数据进行访问：

### Master 服务器
- 1527 （Derby 原数据存储；如果你使用的是其他的数据库，例如 MySQL 或 PostgreSQL 的话就不需要）
- 2181 （ZooKeeper；如果你使用的是分布式 ZooKeeper 集群部署的话就不需要）
- 8081 （Coordinator 服务）
- 8090 （Overlord 服务）

### Data 服务器
- 8083 （Historical 服务）
- 8091, 8100–8199 （Druid Middle Manager 服务，如果你使用了比较高的 `druid.worker.capacity` 配置的话，那么你需要的端口可能会高于 8199）

### Query 服务器
- 8082 （Broker 服务）
- 8088 （Router 服务，如果使用的话）

> 在生产环境中，我们推荐你部署 ZooKeeper 和你的元数据存储到他们自己的硬件上（独立部署）。不要和 Master server 混合部署在一起。

## 启动 Master 服务器
拷贝 Druid 的分发包和你修改过的配置到 Master 服务器上。

如果你已经在你的本地计算机上修改了配置，你可以使用 *rsync* 来进行拷贝。

```bash
rsync -az apache-druid-apache-druid-0.21.1/ MASTER_SERVER:apache-druid-apache-druid-0.21.1/
```

### Master 没有 Zookeeper 的启动 

从分发包的 root 节点中，运行下面的命令来启动 Master 服务器：

```
bin/start-cluster-master-no-zk-server
```

### Master 有 Zookeeper 的启动
如果你计划在 Master 服务器上还同时运行 ZK 的话，首先需要更新 `conf/zoo.cfg` 中的配置来确定你如何运行 ZK。
然后你可以选择在启动 ZK 的同时启动 Master 服务器。

使用下面的命令行来进行启动：

```
bin/start-cluster-master-with-zk-server
```

> 在生产环境中，我们推荐你部署 ZooKeeper 在独立的集群上面。

## 启动 Data 服务器
拷贝 Druid 的分发包和你修改过的配置到 Data 服务器上。

从分发包的 root 节点中，运行下面的命令来启动 Data 服务器：

```
bin/start-cluster-data-server
```

如果需要的话，你还可以为你的数据服务器添加更多的节点。

> 针对集群环境中更加复杂的应用环境和需求，你可以将 Historicals 和 MiddleManagers 服务分开部署，然后分别进行扩容。
> 上面的这种分开部署方式，能够给代理 Druid 已经构建并且实现的 MiddleManager 自动扩容功能。

## 启动 Query 服务器
拷贝 Druid 的分发包和你修改过的配置到 Query 服务器上。

从分发包的 root 节点中，运行下面的命令来启动 Query 服务器：

```
bin/start-cluster-query-server
```
针对你查询的负载情况，你可以为你的查询服务器增加更多的节点。

如果为你的查询服务器增加了更多的节点的话，请确定同时为你的 Historicals 服务增加更多的连接池。

请参考页面  [basic cluster tuning guide](../operations/basic-cluster-tuning.md) 中描述的内容。

## 载入数据
恭喜你，我们现在有了配置成功并且运行的 Druid 集群了！

下一步就是根据根据你的使用情况来用推荐的方法将数据载入到 Druid 集群中了。

请参考页面 [loading data](../ingestion/index.md) 中的内容。