From bf746170572d3ddd1ffd6ce14b5017855866e6b5 Mon Sep 17 00:00:00 2001 From: YuCheng Hu Date: Mon, 2 Aug 2021 15:57:21 -0400 Subject: [PATCH 1/4] =?UTF-8?q?=E4=BF=AE=E6=94=B9=E9=94=99=E5=88=AB?= =?UTF-8?q?=E5=AD=97?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- tutorials/tutorial-rollup.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tutorials/tutorial-rollup.md b/tutorials/tutorial-rollup.md index 1fdd76c..1604021 100644 --- a/tutorials/tutorial-rollup.md +++ b/tutorials/tutorial-rollup.md @@ -130,7 +130,7 @@ dsql> {"timestamp":"2018-01-01T01:01:59Z","srcIP":"1.1.1.1", "dstIP":"2.2.2.2","packets":11,"bytes":5780} ``` -上面的 3 调原始数据使用 "rolled up" 后将会合并成下面 1 条数据进行导入： +上面的 3 条原始数据使用 "rolled up" 后将会合并成下面 1 条数据进行导入： ```bash ┌──────────────────────────┬────────┬───────┬─────────┬─────────┬─────────┐ From 49c3930deb9643f0e740fc407e16f6287bff52ff Mon Sep 17 00:00:00 2001 From: YuCheng Hu Date: Tue, 3 Aug 2021 13:41:42 -0400 Subject: [PATCH 2/4] =?UTF-8?q?=E5=88=A0=E9=99=A4=E4=B8=8D=E9=9C=80?= =?UTF-8?q?=E8=A6=81=E7=9A=84=E6=96=87=E4=BB=B6?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- tutorials/chapter-7.md | 13 ------------- 1 file changed, 13 deletions(-) delete mode 100644 tutorials/chapter-7.md diff --git a/tutorials/chapter-7.md b/tutorials/chapter-7.md deleted file mode 100644 index e882064..0000000 --- a/tutorials/chapter-7.md +++ /dev/null @@ -1,13 +0,0 @@ - - - - - - From bf97c6886b857d029cbdf73fcb20a6c1ca37b470 Mon Sep 17 00:00:00 2001 From: YuCheng Hu Date: Tue, 3 Aug 2021 13:57:44 -0400 Subject: [PATCH 3/4] =?UTF-8?q?=E9=9B=86=E7=BE=A4=E6=96=B9=E5=BC=8F?= =?UTF-8?q?=E9=83=A8=E7=BD=B2=20-=20=E4=B8=BB=E6=9C=8D=E5=8A=A1=E5=99=A8?= =?UTF-8?q?=EF=BC=88Master=20Server=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- tutorials/cluster.md | 59 ++++++++++++++------------------------------ 1 file changed, 18 insertions(+), 41 deletions(-) diff --git a/tutorials/cluster.md b/tutorials/cluster.md index 91c621b..004d48c 100644 --- a/tutorials/cluster.md +++ b/tutorials/cluster.md @@ -1,61 +1,38 @@ ---- -id: cluster -title: "Clustered deployment" ---- +# 集群方式部署 - +Apache Druid 被设计部署为可扩展和容错的集群部署方式。 +在本文档中，我们将会设置一个示例集群，并且进行一些讨论，你可以进行那些修改来满足你的需求。 -Apache Druid is designed to be deployed as a scalable, fault-tolerant cluster. +这个简单的集群包括有下面的特性： -In this document, we'll set up a simple cluster and discuss how it can be further configured to meet -your needs. + - 主服务器（Master Server）将会运行 Coordinator 和 Overlord 进程 + - 2 个可扩展和容错的数据服务器将会运行 Historical 和 MiddleManager 进程 + - 一个查询服务器（Query Server）将会运行 Broker 和 Router 进程 -This simple cluster will feature: +在生产环境中，我们建议你部署多个 Master 服务器和多个 Query 服务器，服务器的高可用性（fault-tolerant）配置与你的数据特性和容错性要求息息相关。 +但是你可以使用一个主服务器（Master Server） 和 一个查询服务器（Query Server）来启动服务，随着需求的增加你可以随时增加更多的服务器节点。 - - A Master server to host the Coordinator and Overlord processes - - Two scalable, fault-tolerant Data servers running Historical and MiddleManager processes - - A query server, hosting the Druid Broker and Router processes +## 选择硬件 -In production, we recommend deploying multiple Master servers and multiple Query servers in a fault-tolerant configuration based on your specific fault-tolerance needs, but you can get started quickly with one Master and one Query server and add more servers later. +### 全新部署 -## Select hardware +如果你没有已经存在的 Druid 集群，但是你希望开始在你的环境中使用集群方式部署 Druid，本文档将会使用预配置（pre-made configurations）内容来帮助你开始部署 Druid 的集群。 -### Fresh Deployment +#### 主服务器（Master Server） -If you do not have an existing Druid cluster, and wish to start running Druid in a clustered deployment, this guide provides an example clustered deployment with pre-made configurations. +Coordinator 和 Overlord 进程将会负责处理 metadata 数据和在你集群中进行协调。这 2 个进程可以合并在同一个服务器上。 -#### Master server +在本示例中，我们将会在 AWS [m5.2xlarge](https://aws.amazon.com/ec2/instance-types/m5/) 上部署这个服务器。 -The Coordinator and Overlord processes are responsible for handling the metadata and coordination needs of your cluster. They can be colocated together on the same server. - -In this example, we will be deploying the equivalent of one AWS [m5.2xlarge](https://aws.amazon.com/ec2/instance-types/m5/) instance. - -This hardware offers: +硬件的要求是： - 8 vCPUs - 31 GB RAM -Example Master server configurations that have been sized for this hardware can be found under `conf/druid/cluster/master`. +有关本服务器的配置信息和有关硬件大小的建议，额可以在文件夹 `conf/druid/cluster/master` 中找到。 -#### Data server +#### 数据服务器（Data server） Historicals and MiddleManagers can be colocated on the same server to handle the actual data in your cluster. These servers benefit greatly from CPU, RAM, and SSDs. From 2666e5bf45322362b3afe36940cbb211253c8ccb Mon Sep 17 00:00:00 2001 From: YuCheng Hu Date: Tue, 3 Aug 2021 14:01:56 -0400 Subject: [PATCH 4/4] =?UTF-8?q?=E9=9B=86=E7=BE=A4=E6=96=B9=E5=BC=8F?= =?UTF-8?q?=E9=83=A8=E7=BD=B2=20-=20=E6=95=B0=E6=8D=AE=E6=9C=8D=E5=8A=A1?= =?UTF-8?q?=E5=99=A8=EF=BC=88Data=20server=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- tutorials/cluster.md | 58 ++++++-------------------------------------- 1 file changed, 8 insertions(+), 50 deletions(-) diff --git a/tutorials/cluster.md b/tutorials/cluster.md index 004d48c..0f181c3 100644 --- a/tutorials/cluster.md +++ b/tutorials/cluster.md @@ -23,31 +23,30 @@ Apache Druid 被设计部署为可扩展和容错的集群部署方式。 Coordinator 和 Overlord 进程将会负责处理 metadata 数据和在你集群中进行协调。这 2 个进程可以合并在同一个服务器上。 -在本示例中，我们将会在 AWS [m5.2xlarge](https://aws.amazon.com/ec2/instance-types/m5/) 上部署这个服务器。 +在本示例中，我们将会在 AWS [m5.2xlarge](https://aws.amazon.com/ec2/instance-types/m5/) 部署一个评估的服务器和实例。 -硬件的要求是： +AWS 上面硬件的配置为： - 8 vCPUs - 31 GB RAM -有关本服务器的配置信息和有关硬件大小的建议，额可以在文件夹 `conf/druid/cluster/master` 中找到。 +有关本服务器的配置信息和有关硬件大小的建议，可以在文件 `conf/druid/cluster/master` 中找到。 #### 数据服务器（Data server） -Historicals and MiddleManagers can be colocated on the same server to handle the actual data in your cluster. These servers benefit greatly from CPU, RAM, -and SSDs. +Historicals 和 MiddleManagers 可以合并到同一个服务器上，这个 2 个进程在你的集群中用于处理实际的数据。通常来说越大更大的 CPU, RAM, SSDs硬盘越好更好。 -In this example, we will be deploying the equivalent of two AWS [i3.4xlarge](https://aws.amazon.com/ec2/instance-types/i3/) instances. +在本示例中，我们将会在 [i3.4xlarge](https://aws.amazon.com/ec2/instance-types/i3/) 部署一个评估的服务器和实例。 -This hardware offers: +AWS 上面硬件的配置为： - 16 vCPUs - 122 GB RAM - 2 * 1.9TB SSD storage -Example Data server configurations that have been sized for this hardware can be found under `conf/druid/cluster/data`. +有关本服务器的配置信息和有关硬件大小的建议，可以在文件 `conf/druid/cluster/data` 中找到。 -#### Query server +#### 查询服务器（Query server） Druid Brokers accept queries and farm them out to the rest of the cluster. They also optionally maintain an in-memory query cache. These servers benefit greatly from CPU and RAM. @@ -450,48 +449,7 @@ You can add more Query servers as needed based on query load. If you increase th Congratulations, you now have a Druid cluster! The next step is to learn about recommended ways to load data into Druid based on your use case. Read more about [loading data](../ingestion/index.md). -## 集群部署 -Apache Druid旨在作为可伸缩的容错集群进行部署。 - -在本文档中，我们将安装一个简单的集群，并讨论如何对其进行进一步配置以满足您的需求。 - -这个简单的集群将具有以下特点： -* 一个Master服务同时起Coordinator和Overlord进程 -* 两个可伸缩、容错的Data服务来运行Historical和MiddleManager进程 -* 一个Query服务，运行Druid Broker和Router进程 - -在生产中，我们建议根据您的特定容错需求部署多个Master服务器和多个Query服务器，但是您可以使用一台Master服务器和一台Query服务器将服务快速运行起来，然后再添加更多服务器。 -### 选择硬件 -#### 首次部署 - -如果您现在没有Druid集群，并打算首次以集群模式部署运行Druid，则本指南提供了一个包含预先配置的集群部署示例。 - -##### Master服务 - -Coordinator进程和Overlord进程负责处理集群的元数据和协调需求，它们可以运行在同一台服务器上。 - -在本示例中，我们将在等效于AWS[m5.2xlarge](https://aws.amazon.com/ec2/instance-types/m5/)实例的硬件环境上部署。 - -硬件规格为： - -* 8核CPU -* 31GB内存 - -可以在`conf/druid/cluster/master`下找到适用于此硬件规格的Master示例服务配置。 - -##### Data服务 - -Historical和MiddleManager可以分配在同一台服务器上运行，以处理集群中的实际数据，这两个服务受益于CPU、内存和固态硬盘。 - -在本示例中，我们将在等效于AWS[i3.4xlarge](https://aws.amazon.com/cn/ec2/instance-types/i3/)实例的硬件环境上部署。 - -硬件规格为： -* 16核CPU -* 122GB内存 -* 2 * 1.9TB 固态硬盘 - -可以在`conf/druid/cluster/data`下找到适用于此硬件规格的Data示例服务配置。 ##### Query服务