集群方式部署 -
This commit is contained in:
parent
50dcd15128
commit
84e200dbb0
|
|
@ -77,7 +77,7 @@ Druid Broker服务接收查询请求，并将其转发到集群中的其他部
|
||||||
|
|
||||||
如果您的使用场景具有复杂的扩展要求，则还可以选择不将Druid服务混合部署（例如，独立的Historical Server）。
|
如果您的使用场景具有复杂的扩展要求，则还可以选择不将Druid服务混合部署（例如，独立的Historical Server）。
|
||||||
|
|
||||||
[基本集群调整指南](../operations/basicClusterTuning.md)中的信息可以帮助您进行决策，并可以调整配置大小。
|
[基本集群调整指南](../operations/basic-cluster-tuning.md)中的信息可以帮助您进行决策，并可以调整配置大小。
|
||||||
|
|
||||||
#### 从单服务器环境迁移部署
|
#### 从单服务器环境迁移部署
|
||||||
|
|
||||||
|
|
@ -107,7 +107,7 @@ Query服务的硬件选择主要考虑可用的CPU、Broker服务的堆内和堆
|
||||||
|
|
||||||
对于CPU，可以选择接近于单服务器环境核数1/4的硬件。
|
对于CPU，可以选择接近于单服务器环境核数1/4的硬件。
|
||||||
|
|
||||||
[基本集群调优指南](../operations/basicClusterTuning.md)包含有关如何计算Broker和Router服务内存使用量的信息。
|
[基本集群调优指南](../operations/basic-cluster-tuning.md)包含有关如何计算Broker和Router服务内存使用量的信息。
|
||||||
|
|
||||||
### 选择操作系统
|
### 选择操作系统
|
||||||
|
|
||||||
|
|
@ -334,7 +334,7 @@ druid.indexer.fork.property.druid.processing.numThreads=1
|
||||||
|
|
||||||
`conf/druid/cluster`下的配置已经为此硬件确定了，一般情况下您无需做进一步的修改。
|
`conf/druid/cluster`下的配置已经为此硬件确定了，一般情况下您无需做进一步的修改。
|
||||||
|
|
||||||
如果您选择了其他硬件，则[基本的集群调整指南](../operations/basicClusterTuning.md)可以帮助您调整配置大小。
|
如果您选择了其他硬件，则[基本的集群调整指南](../operations/basic-cluster-tuning.md)可以帮助您调整配置大小。
|
||||||
|
|
||||||
### 开启端口(如果使用了防火墙)
|
### 开启端口(如果使用了防火墙)
|
||||||
|
|
||||||
|
|
@ -410,7 +410,7 @@ bin/start-cluster-data-server
|
||||||
bin/start-cluster-query-server
|
bin/start-cluster-query-server
|
||||||
```
|
```
|
||||||
|
|
||||||
您可以根据查询负载添加更多查询服务器。 如果增加了查询服务器的数量，请确保按照[基本集群调优指南](../operations/basicClusterTuning.md)中的说明调整Historical和Task上的连接池。
|
您可以根据查询负载添加更多查询服务器。 如果增加了查询服务器的数量，请确保按照[基本集群调优指南](../operations/basic-cluster-tuning.md)中的说明调整Historical和Task上的连接池。
|
||||||
|
|
||||||
### 加载数据
|
### 加载数据
|
||||||
|
|
||||||
|
|
|
||||||
|
|
@ -235,7 +235,7 @@ GroupBy查询可以使用两种不同的策略执行。默认策略由Broker上
|
||||||
|
|
||||||
如果`maxOnDiskStorage`大于0，则超出内存限制的查询将开始使用磁盘进行聚合。在这种情况下，当堆内字典或堆外哈希表填满时，部分聚合的记录将被排序并刷新到磁盘。然后，两个内存中的结构都将被清除，以便进一步聚合。然后继续超过`maxOnDiskStorage`的查询将失败，并出现"Resource limit exceeded"错误，指示它们的磁盘空间不足。
|
如果`maxOnDiskStorage`大于0，则超出内存限制的查询将开始使用磁盘进行聚合。在这种情况下，当堆内字典或堆外哈希表填满时，部分聚合的记录将被排序并刷新到磁盘。然后，两个内存中的结构都将被清除，以便进一步聚合。然后继续超过`maxOnDiskStorage`的查询将失败，并出现"Resource limit exceeded"错误，指示它们的磁盘空间不足。
|
||||||
|
|
||||||
对于groupBy v2，集群操作符应该确保堆外哈希表和堆内合并字典不会超过最大可能并发查询负载的可用内存（由`druid.processing.numMergeBuffers`控制)。有关直接内存使用（按Druid进程类型组织）的更多详细信息，请参阅[基本集群调优指南](../operations/basicClusterTuning.md)。
|
对于groupBy v2，集群操作符应该确保堆外哈希表和堆内合并字典不会超过最大可能并发查询负载的可用内存（由`druid.processing.numMergeBuffers`控制)。有关直接内存使用（按Druid进程类型组织）的更多详细信息，请参阅[基本集群调优指南](../operations/basic-cluster-tuning.md)。
|
||||||
|
|
||||||
Broker对基础的groupBy查询不需要合并缓冲区。包含子查询的查询（使用`query`数据源）需要一个合并缓冲区（如果有一个子查询），如果有多个嵌套子查询层，则需要两个合并缓冲区。包含[`subtotals`](#关于subtotalSpec)的查询需要一个合并缓冲区。它们可以相互堆叠：一个包含多层嵌套子查询的groupBy查询，也使用小计，将需要三个合并缓冲区。
|
Broker对基础的groupBy查询不需要合并缓冲区。包含子查询的查询（使用`query`数据源）需要一个合并缓冲区（如果有一个子查询），如果有多个嵌套子查询层，则需要两个合并缓冲区。包含[`subtotals`](#关于subtotalSpec)的查询需要一个合并缓冲区。它们可以相互堆叠：一个包含多层嵌套子查询的groupBy查询，也使用小计，将需要三个合并缓冲区。
|
||||||
|
|
||||||
|
|
|
||||||
|
|
@ -62,16 +62,14 @@ AWS 上面硬件的配置为：
|
||||||
有关本服务器的配置信息和有关硬件大小的建议，可以在文件，可以在文件 `conf/druid/cluster/query` 中找到。
|
有关本服务器的配置信息和有关硬件大小的建议，可以在文件，可以在文件 `conf/druid/cluster/query` 中找到。
|
||||||
|
|
||||||
#### 其他硬件大小
|
#### 其他硬件大小
|
||||||
|
上面的示例集群配置是从多种确定 Druid 集群可能的配置方式中选择的一个示例。
|
||||||
|
|
||||||
The example cluster above is chosen as a single example out of many possible ways to size a Druid cluster.
|
您可以根据自己的特定需求和要求来选择 较小/较大的硬件配置或 较少/更多的服务器数量。
|
||||||
|
如果你的使用实例有比较复杂的可扩展性要求，你也可以选择不将进程合并到服务器上的配置方案，而针对每一个进程配置一台服务器（例如，你可以配置一个独立的 Historical 服务器）。
|
||||||
|
|
||||||
You can choose smaller/larger hardware or less/more servers for your specific needs and constraints.
|
有关更多的配置信息，请参考页面 [basic cluster tuning guide](../operations/basic-cluster-tuning.md) 中的内容，能够帮助你如何对你的配置进行配置和扩展。
|
||||||
|
|
||||||
If your use case has complex scaling requirements, you can also choose to not co-locate Druid processes (e.g., standalone Historical servers).
|
### 从独立服务器部署上合并到集群
|
||||||
|
|
||||||
The information in the [basic cluster tuning guide](../operations/basic-cluster-tuning.md) can help with your decision-making process and with sizing your configurations.
|
|
||||||
|
|
||||||
### Migrating from a single-server deployment
|
|
||||||
|
|
||||||
If you have an existing single-server deployment, such as the ones from the [single-server deployment examples](../operations/single-server.md), and you wish to migrate to a clustered deployment of similar scale, the following section contains guidelines for choosing equivalent hardware using the Master/Data/Query server organization.
|
If you have an existing single-server deployment, such as the ones from the [single-server deployment examples](../operations/single-server.md), and you wish to migrate to a clustered deployment of similar scale, the following section contains guidelines for choosing equivalent hardware using the Master/Data/Query server organization.
|
||||||
|
|
||||||
|
|
@ -450,20 +448,7 @@ Druid based on your use case. Read more about [loading data](../ingestion/index.
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
##### Query服务
|
|
||||||
|
|
||||||
Druid Broker服务接收查询请求，并将其转发到集群中的其他部分，同时其可以可选的配置内存缓存。 Broker服务受益于CPU和内存。
|
|
||||||
|
|
||||||
在本示例中，我们将在等效于AWS[m5.2xlarge](https://aws.amazon.com/ec2/instance-types/m5/)实例的硬件环境上部署。
|
|
||||||
|
|
||||||
硬件规格为：
|
|
||||||
|
|
||||||
* 8核CPU
|
|
||||||
* 31GB内存
|
|
||||||
|
|
||||||
您可以考虑将所有的其他开源UI工具或者查询依赖等与Broker服务部署在同一台服务器上。
|
|
||||||
|
|
||||||
可以在`conf/druid/cluster/query`下找到适用于此硬件规格的Query示例服务配置。
|
|
||||||
|
|
||||||
##### 其他硬件配置
|
##### 其他硬件配置
|
||||||
|
|
||||||
|
|
|
||||||
Loading…
Reference in New Issue