重命名文档结构
|
@ -177,7 +177,7 @@ Druid支持永久的将标记为"unused"状态(详情可见架构设计中的
|
||||||
|
|
||||||
对于通过Coordinator API来禁用段的文档,可以详细看 [Coordinator数据源API](../Operations/api.md#coordinator)
|
对于通过Coordinator API来禁用段的文档,可以详细看 [Coordinator数据源API](../Operations/api.md#coordinator)
|
||||||
|
|
||||||
在本文档中已经包含了一个删除删除的教程,请看 [数据删除教程](../Tutorials/chapter-9.md)
|
在本文档中已经包含了一个删除删除的教程,请看 [数据删除教程](../tutorials/chapter-9.md)
|
||||||
|
|
||||||
### 杀死任务
|
### 杀死任务
|
||||||
|
|
||||||
|
|
|
@ -79,7 +79,7 @@ Druid Schema必须始终包含一个主时间戳。主时间戳用于对 [数据
|
||||||
#### 指标
|
#### 指标
|
||||||
Metrics是以聚合形式存储的列。启用 [rollup](#Rollup) 时,它们最有用。指定一个Metric允许您为Druid选择一个聚合函数,以便在摄取期间应用于每一行。这有两个好处:
|
Metrics是以聚合形式存储的列。启用 [rollup](#Rollup) 时,它们最有用。指定一个Metric允许您为Druid选择一个聚合函数,以便在摄取期间应用于每一行。这有两个好处:
|
||||||
|
|
||||||
1. 如果启用了 [rollup](#Rollup),即使保留摘要信息,也可以将多行折叠为一行。在 [Rollup教程](../Tutorials/chapter-5.md) 中,这用于将netflow数据折叠为每(`minute`,`srcIP`,`dstIP`)元组一行,同时保留有关总数据包和字节计数的聚合信息。
|
1. 如果启用了 [rollup](#Rollup),即使保留摘要信息,也可以将多行折叠为一行。在 [Rollup教程](../tutorials/chapter-5.md) 中,这用于将netflow数据折叠为每(`minute`,`srcIP`,`dstIP`)元组一行,同时保留有关总数据包和字节计数的聚合信息。
|
||||||
2. 一些聚合器,特别是近似聚合器,即使在非汇总数据上,如果在接收时部分计算,也可以在查询时更快地计算它们。
|
2. 一些聚合器,特别是近似聚合器,即使在非汇总数据上,如果在接收时部分计算,也可以在查询时更快地计算它们。
|
||||||
|
|
||||||
Metrics是通过 [`metricsSpec`](#metricsSpec) 配置的。
|
Metrics是通过 [`metricsSpec`](#metricsSpec) 配置的。
|
||||||
|
@ -99,7 +99,7 @@ rollup默认是启用状态。
|
||||||
Rollup由 `granularitySpec` 中的 `rollup` 配置项控制。 默认情况下,值为 `true`(启用状态)。如果你想让Druid按原样存储每条记录,而不需要任何汇总,将该值设置为 `false`。
|
Rollup由 `granularitySpec` 中的 `rollup` 配置项控制。 默认情况下,值为 `true`(启用状态)。如果你想让Druid按原样存储每条记录,而不需要任何汇总,将该值设置为 `false`。
|
||||||
|
|
||||||
#### rollup示例
|
#### rollup示例
|
||||||
有关如何配置Rollup以及该特性将如何修改数据的示例,请参阅[Rollup教程](../Tutorials/chapter-5.md)。
|
有关如何配置Rollup以及该特性将如何修改数据的示例,请参阅[Rollup教程](../tutorials/chapter-5.md)。
|
||||||
|
|
||||||
#### 最大化rollup比率
|
#### 最大化rollup比率
|
||||||
通过比较Druid中的行数和接收的事件数,可以测量数据源的汇总率。这个数字越高,从汇总中获得的好处就越多。一种方法是使用[Druid SQL](../Querying/druidsql.md)查询,比如:
|
通过比较Druid中的行数和接收的事件数,可以测量数据源的汇总率。这个数字越高,从汇总中获得的好处就越多。一种方法是使用[Druid SQL](../Querying/druidsql.md)查询,比如:
|
||||||
|
|
|
@ -22,7 +22,7 @@ Kafka索引服务支持在Overlord上配置*supervisors*,supervisors通过管
|
||||||
|
|
||||||
### 教程
|
### 教程
|
||||||
|
|
||||||
本页包含基于Apache Kafka的摄取的参考文档。同样,您可以查看 [Apache Kafka教程](../Tutorials/chapter-2.md) 中的加载。
|
本页包含基于Apache Kafka的摄取的参考文档。同样,您可以查看 [Apache Kafka教程](../tutorials/chapter-2.md) 中的加载。
|
||||||
|
|
||||||
### 提交一个supervisor规范
|
### 提交一个supervisor规范
|
||||||
|
|
||||||
|
|
|
@ -141,10 +141,10 @@ $ ./bin/start-micro-quickstart
|
||||||
|
|
||||||
以下教程演示了将数据加载到Druid的各种方法,包括批处理和流处理用例。 所有教程均假定您使用的是上面提到的`micro-quickstart`单机配置。
|
以下教程演示了将数据加载到Druid的各种方法,包括批处理和流处理用例。 所有教程均假定您使用的是上面提到的`micro-quickstart`单机配置。
|
||||||
|
|
||||||
* [加载本地文件](../Tutorials/chapter-1.md) - 本教程演示了如何使用Druid的本地批处理摄取来执行批文件加载
|
* [加载本地文件](../tutorials/tutorial-batch.md) - 本教程演示了如何使用Druid的本地批处理摄取来执行批文件加载
|
||||||
* [从Kafka加载流数据](../Tutorials/chapter-2.md) - 本教程演示了如何从Kafka主题加载流数据
|
* [从Kafka加载流数据](../tutorials/chapter-2.md) - 本教程演示了如何从Kafka主题加载流数据
|
||||||
* [从Hadoop加载数据](../Tutorials/chapter-3.md) - 本教程演示了如何使用远程Hadoop集群执行批处理文件加载
|
* [从Hadoop加载数据](../tutorials/chapter-3.md) - 本教程演示了如何使用远程Hadoop集群执行批处理文件加载
|
||||||
* [编写一个自己的数据摄取规范](../Tutorials/chapter-10.md) - 本教程演示了如何编写新的数据摄取规范并使用它来加载数据
|
* [编写一个自己的数据摄取规范](../tutorials/chapter-10.md) - 本教程演示了如何编写新的数据摄取规范并使用它来加载数据
|
||||||
|
|
||||||
##### 重置集群状态
|
##### 重置集群状态
|
||||||
|
|
||||||
|
@ -154,7 +154,7 @@ $ ./bin/start-micro-quickstart
|
||||||
|
|
||||||
##### 重置Kafka
|
##### 重置Kafka
|
||||||
|
|
||||||
如果您完成了[教程:从Kafka加载流数据](../Tutorials/chapter-2.md)并希望重置集群状态,则还应该清除所有Kafka状态。
|
如果您完成了[教程:从Kafka加载流数据](../tutorials/chapter-2.md)并希望重置集群状态,则还应该清除所有Kafka状态。
|
||||||
|
|
||||||
在停止ZooKeeper和Druid服务之前,使用`CTRL-C`关闭`Kafka Broker`,然后删除`/tmp/kafka-logs`中的Kafka日志目录:
|
在停止ZooKeeper和Druid服务之前,使用`CTRL-C`关闭`Kafka Broker`,然后删除`/tmp/kafka-logs`中的Kafka日志目录:
|
||||||
|
|
||||||
|
|
24
SUMMARY.md
|
@ -21,18 +21,18 @@
|
||||||
* [集群部署](GettingStarted/chapter-4.md)
|
* [集群部署](GettingStarted/chapter-4.md)
|
||||||
|
|
||||||
* [使用指导]()
|
* [使用指导]()
|
||||||
* [加载本地文件](Tutorials/chapter-1.md)
|
* [加载本地文件](tutorials/tutorial-batch.md)
|
||||||
* [从Kafka加载数据](Tutorials/chapter-2.md)
|
* [从Kafka加载数据](tutorials/chapter-2.md)
|
||||||
* [从Hadoop加载数据](Tutorials/chapter-3.md)
|
* [从Hadoop加载数据](tutorials/chapter-3.md)
|
||||||
* [查询数据](Tutorials/chapter-4.md)
|
* [查询数据](tutorials/chapter-4.md)
|
||||||
* [Rollup操作](Tutorials/chapter-5.md)
|
* [Rollup操作](tutorials/chapter-5.md)
|
||||||
* [配置数据保留规则](Tutorials/chapter-6.md)
|
* [配置数据保留规则](tutorials/chapter-6.md)
|
||||||
* [数据更新](Tutorials/chapter-7.md)
|
* [数据更新](tutorials/chapter-7.md)
|
||||||
* [合并段文件](Tutorials/chapter-8.md)
|
* [合并段文件](tutorials/chapter-8.md)
|
||||||
* [删除数据](Tutorials/chapter-9.md)
|
* [删除数据](tutorials/chapter-9.md)
|
||||||
* [摄入配置规范](Tutorials/chapter-10.md)
|
* [摄入配置规范](tutorials/chapter-10.md)
|
||||||
* [转换输入数据](Tutorials/chapter-11.md)
|
* [转换输入数据](tutorials/chapter-11.md)
|
||||||
* [Kerberized HDFS存储](Tutorials/chapter-12.md)
|
* [Kerberized HDFS存储](tutorials/chapter-12.md)
|
||||||
|
|
||||||
* [架构设计]()
|
* [架构设计]()
|
||||||
* [整体设计](Design/Design.md)
|
* [整体设计](Design/Design.md)
|
||||||
|
|
20
_sidebar.md
|
@ -1,20 +1,20 @@
|
||||||
- CWIKIUS.CN 概述
|
- DRUID.OSSEZ.COM 概述
|
||||||
- [文档介绍和快速链接](README.md)
|
- [项目概述](README.md)
|
||||||
- [公众平台](CONTACT.md)
|
- [公众平台](CONTACT.md)
|
||||||
|
|
||||||
- 湘南地区古村落
|
- 开始使用
|
||||||
- [毛坪里村](yong-zhou/ling-ling/mao-ping-li-cun/index.md)
|
- [从文件中载入数据](yong-zhou/ling-ling/mao-ping-li-cun/index.md)
|
||||||
- [塘付村](yong-zhou/ling-ling/tang-fu-cun/index.md)
|
- [从 Kafka 中载入数据](yong-zhou/ling-ling/tang-fu-cun/index.md)
|
||||||
- [赵家湾村](yong-zhou/ling-ling/zhao-jia-wan-cun/index.md)
|
- [从 Hadoop 中载入数据](yong-zhou/ling-ling/zhao-jia-wan-cun/index.md)
|
||||||
|
|
||||||
- 其他小工具
|
- 设计(Design)
|
||||||
- [JWT](jwt/README.md)
|
- [JWT](jwt/README.md)
|
||||||
- [MessagePack](message-pack/index.md)
|
- [MessagePack](message-pack/index.md)
|
||||||
- [Protocol Buffers](protocol-buffers/index.md)
|
- [Protocol Buffers](protocol-buffers/index.md)
|
||||||
|
|
||||||
- 面试和算法
|
- 摄取(Ingestion)
|
||||||
- [面试问题和经验](interview/index.md)
|
- [面试问题和经验](interview/index.md)
|
||||||
- [算法题](algorithm/index.md)
|
- [算法题](algorithm/index.md)
|
||||||
|
- 查询(Querying)
|
||||||
- [Awesome docsify](awesome.md)
|
|
||||||
- [Changelog](changelog.md)
|
- [Changelog](changelog.md)
|
|
@ -17,7 +17,7 @@
|
||||||
|
|
||||||
本教程我们假设您已经按照[单服务器部署](../GettingStarted/chapter-3.md)中描述下载了Druid,并运行在本地机器上。
|
本教程我们假设您已经按照[单服务器部署](../GettingStarted/chapter-3.md)中描述下载了Druid,并运行在本地机器上。
|
||||||
|
|
||||||
完成[加载本地文件](./chapter-1.md)、[数据查询](./chapter-4.md)和[roll-up](./chapter-5.md)部分内容也是非常有帮助的
|
完成[加载本地文件](tutorial-batch.md)、[数据查询](./chapter-4.md)和[roll-up](./chapter-5.md)部分内容也是非常有帮助的
|
||||||
|
|
||||||
### 示例数据
|
### 示例数据
|
||||||
|
|
|
@ -17,7 +17,7 @@
|
||||||
|
|
||||||
本教程我们假设您已经按照[单服务器部署](../GettingStarted/chapter-3.md)中描述下载了Druid,并运行在本地机器上。
|
本教程我们假设您已经按照[单服务器部署](../GettingStarted/chapter-3.md)中描述下载了Druid,并运行在本地机器上。
|
||||||
|
|
||||||
完成[加载本地文件](./chapter-1.md)、[数据查询](./chapter-4.md)和[roll-up](./chapter-5.md)部分内容也是非常有帮助的
|
完成[加载本地文件](tutorial-batch.md)、[数据查询](./chapter-4.md)和[roll-up](./chapter-5.md)部分内容也是非常有帮助的
|
||||||
|
|
||||||
### 样例数据
|
### 样例数据
|
||||||
|
|
|
@ -15,7 +15,7 @@
|
||||||
|
|
||||||
本教程向您展示如何使用远程Hadoop集群将数据文件加载到Apache Druid中。
|
本教程向您展示如何使用远程Hadoop集群将数据文件加载到Apache Druid中。
|
||||||
|
|
||||||
对于本教程,我们假设您已经使用[快速入门](../GettingStarted/chapter-2.md)中所述的 `micro-quickstart` 单机配置完成了前边的[批处理摄取指南](./chapter-1.md)。
|
对于本教程,我们假设您已经使用[快速入门](../GettingStarted/chapter-2.md)中所述的 `micro-quickstart` 单机配置完成了前边的[批处理摄取指南](tutorial-batch.md)。
|
||||||
|
|
||||||
### 安装Docker
|
### 安装Docker
|
||||||
|
|
|
@ -17,7 +17,7 @@
|
||||||
|
|
||||||
本教程假定您已经完成了摄取教程之一,因为我们将查询Wikipedia编辑样例数据。
|
本教程假定您已经完成了摄取教程之一,因为我们将查询Wikipedia编辑样例数据。
|
||||||
|
|
||||||
* [加载本地文件](./chapter-1.md)
|
* [加载本地文件](tutorial-batch.md)
|
||||||
* [从Kafka加载数据](./chapter-2.md)
|
* [从Kafka加载数据](./chapter-2.md)
|
||||||
* [从Hadoop加载数据](./chapter-3.md)
|
* [从Hadoop加载数据](./chapter-3.md)
|
||||||
|
|
|
@ -19,7 +19,7 @@ Apache Druid可以通过roll-up在数据摄取阶段对原始数据进行汇总
|
||||||
|
|
||||||
本教程我们假设您已经按照[单服务器部署](../GettingStarted/chapter-3.md)中描述下载了Druid,并运行在本地机器上。
|
本教程我们假设您已经按照[单服务器部署](../GettingStarted/chapter-3.md)中描述下载了Druid,并运行在本地机器上。
|
||||||
|
|
||||||
完成[加载本地文件](./chapter-1.md)和[数据查询](./chapter-4.md)两部分内容也是非常有帮助的。
|
完成[加载本地文件](tutorial-batch.md)和[数据查询](./chapter-4.md)两部分内容也是非常有帮助的。
|
||||||
|
|
||||||
### 示例数据
|
### 示例数据
|
||||||
|
|
|
@ -17,7 +17,7 @@
|
||||||
|
|
||||||
本教程我们假设您已经按照[单服务器部署](../GettingStarted/chapter-3.md)中描述下载了Druid,并运行在本地机器上。
|
本教程我们假设您已经按照[单服务器部署](../GettingStarted/chapter-3.md)中描述下载了Druid,并运行在本地机器上。
|
||||||
|
|
||||||
完成[加载本地文件](./chapter-1.md)和[数据查询](./chapter-4.md)两部分内容也是非常有帮助的。
|
完成[加载本地文件](tutorial-batch.md)和[数据查询](./chapter-4.md)两部分内容也是非常有帮助的。
|
||||||
|
|
||||||
### 加载示例数据
|
### 加载示例数据
|
||||||
|
|
|
@ -16,7 +16,7 @@
|
||||||
|
|
||||||
本教程我们假设您已经按照[单服务器部署](../GettingStarted/chapter-3.md)中描述下载了Druid,并运行在本地机器上。
|
本教程我们假设您已经按照[单服务器部署](../GettingStarted/chapter-3.md)中描述下载了Druid,并运行在本地机器上。
|
||||||
|
|
||||||
完成[加载本地文件](./chapter-1.md)、[数据查询](./chapter-4.md)和[roll-up](./chapter-5.md)部分内容也是非常有帮助的
|
完成[加载本地文件](tutorial-batch.md)、[数据查询](./chapter-4.md)和[roll-up](./chapter-5.md)部分内容也是非常有帮助的
|
||||||
|
|
||||||
### 数据覆盖
|
### 数据覆盖
|
||||||
本节教程将介绍如何覆盖现有的指定间隔的数据
|
本节教程将介绍如何覆盖现有的指定间隔的数据
|
|
@ -19,7 +19,7 @@
|
||||||
|
|
||||||
本教程我们假设您已经按照[单服务器部署](../GettingStarted/chapter-3.md)中描述下载了Druid,并运行在本地机器上。
|
本教程我们假设您已经按照[单服务器部署](../GettingStarted/chapter-3.md)中描述下载了Druid,并运行在本地机器上。
|
||||||
|
|
||||||
完成[加载本地文件](./chapter-1.md)和[数据查询](./chapter-4.md)两部分内容也是非常有帮助的。
|
完成[加载本地文件](tutorial-batch.md)和[数据查询](./chapter-4.md)两部分内容也是非常有帮助的。
|
||||||
|
|
||||||
### 加载初始数据
|
### 加载初始数据
|
||||||
|
|
Before Width: | Height: | Size: 133 KiB After Width: | Height: | Size: 133 KiB |
Before Width: | Height: | Size: 468 KiB After Width: | Height: | Size: 468 KiB |
Before Width: | Height: | Size: 208 KiB After Width: | Height: | Size: 208 KiB |
Before Width: | Height: | Size: 250 KiB After Width: | Height: | Size: 250 KiB |
Before Width: | Height: | Size: 251 KiB After Width: | Height: | Size: 251 KiB |
Before Width: | Height: | Size: 100 KiB After Width: | Height: | Size: 100 KiB |
Before Width: | Height: | Size: 96 KiB After Width: | Height: | Size: 96 KiB |
Before Width: | Height: | Size: 169 KiB After Width: | Height: | Size: 169 KiB |
Before Width: | Height: | Size: 114 KiB After Width: | Height: | Size: 114 KiB |
Before Width: | Height: | Size: 118 KiB After Width: | Height: | Size: 118 KiB |
Before Width: | Height: | Size: 148 KiB After Width: | Height: | Size: 148 KiB |
Before Width: | Height: | Size: 122 KiB After Width: | Height: | Size: 122 KiB |
Before Width: | Height: | Size: 139 KiB After Width: | Height: | Size: 139 KiB |
Before Width: | Height: | Size: 115 KiB After Width: | Height: | Size: 115 KiB |
Before Width: | Height: | Size: 498 KiB After Width: | Height: | Size: 498 KiB |
Before Width: | Height: | Size: 213 KiB After Width: | Height: | Size: 213 KiB |
Before Width: | Height: | Size: 255 KiB After Width: | Height: | Size: 255 KiB |
Before Width: | Height: | Size: 251 KiB After Width: | Height: | Size: 251 KiB |
Before Width: | Height: | Size: 92 KiB After Width: | Height: | Size: 92 KiB |
Before Width: | Height: | Size: 133 KiB After Width: | Height: | Size: 133 KiB |
Before Width: | Height: | Size: 96 KiB After Width: | Height: | Size: 96 KiB |
Before Width: | Height: | Size: 168 KiB After Width: | Height: | Size: 168 KiB |
Before Width: | Height: | Size: 111 KiB After Width: | Height: | Size: 111 KiB |
Before Width: | Height: | Size: 117 KiB After Width: | Height: | Size: 117 KiB |
Before Width: | Height: | Size: 149 KiB After Width: | Height: | Size: 149 KiB |
Before Width: | Height: | Size: 140 KiB After Width: | Height: | Size: 140 KiB |
Before Width: | Height: | Size: 148 KiB After Width: | Height: | Size: 148 KiB |
Before Width: | Height: | Size: 141 KiB After Width: | Height: | Size: 141 KiB |
Before Width: | Height: | Size: 138 KiB After Width: | Height: | Size: 138 KiB |
Before Width: | Height: | Size: 65 KiB After Width: | Height: | Size: 65 KiB |
Before Width: | Height: | Size: 51 KiB After Width: | Height: | Size: 51 KiB |
Before Width: | Height: | Size: 80 KiB After Width: | Height: | Size: 80 KiB |
Before Width: | Height: | Size: 77 KiB After Width: | Height: | Size: 77 KiB |
Before Width: | Height: | Size: 34 KiB After Width: | Height: | Size: 34 KiB |
Before Width: | Height: | Size: 235 KiB After Width: | Height: | Size: 235 KiB |
Before Width: | Height: | Size: 29 KiB After Width: | Height: | Size: 29 KiB |
Before Width: | Height: | Size: 44 KiB After Width: | Height: | Size: 44 KiB |
Before Width: | Height: | Size: 38 KiB After Width: | Height: | Size: 38 KiB |
Before Width: | Height: | Size: 134 KiB After Width: | Height: | Size: 134 KiB |
Before Width: | Height: | Size: 35 KiB After Width: | Height: | Size: 35 KiB |
Before Width: | Height: | Size: 163 KiB After Width: | Height: | Size: 163 KiB |
Before Width: | Height: | Size: 26 KiB After Width: | Height: | Size: 26 KiB |
Before Width: | Height: | Size: 180 KiB After Width: | Height: | Size: 180 KiB |
Before Width: | Height: | Size: 26 KiB After Width: | Height: | Size: 26 KiB |
Before Width: | Height: | Size: 202 KiB After Width: | Height: | Size: 202 KiB |
Before Width: | Height: | Size: 26 KiB After Width: | Height: | Size: 26 KiB |
Before Width: | Height: | Size: 28 KiB After Width: | Height: | Size: 28 KiB |
Before Width: | Height: | Size: 43 KiB After Width: | Height: | Size: 43 KiB |
Before Width: | Height: | Size: 429 KiB After Width: | Height: | Size: 429 KiB |
Before Width: | Height: | Size: 427 KiB After Width: | Height: | Size: 427 KiB |