|
@ -177,7 +177,7 @@ Druid支持永久的将标记为"unused"状态(详情可见架构设计中的
|
|||
|
||||
对于通过Coordinator API来禁用段的文档,可以详细看 [Coordinator数据源API](../Operations/api.md#coordinator)
|
||||
|
||||
在本文档中已经包含了一个删除删除的教程,请看 [数据删除教程](../Tutorials/chapter-9.md)
|
||||
在本文档中已经包含了一个删除删除的教程,请看 [数据删除教程](../tutorials/chapter-9.md)
|
||||
|
||||
### 杀死任务
|
||||
|
||||
|
|
|
@ -79,7 +79,7 @@ Druid Schema必须始终包含一个主时间戳。主时间戳用于对 [数据
|
|||
#### 指标
|
||||
Metrics是以聚合形式存储的列。启用 [rollup](#Rollup) 时,它们最有用。指定一个Metric允许您为Druid选择一个聚合函数,以便在摄取期间应用于每一行。这有两个好处:
|
||||
|
||||
1. 如果启用了 [rollup](#Rollup),即使保留摘要信息,也可以将多行折叠为一行。在 [Rollup教程](../Tutorials/chapter-5.md) 中,这用于将netflow数据折叠为每(`minute`,`srcIP`,`dstIP`)元组一行,同时保留有关总数据包和字节计数的聚合信息。
|
||||
1. 如果启用了 [rollup](#Rollup),即使保留摘要信息,也可以将多行折叠为一行。在 [Rollup教程](../tutorials/chapter-5.md) 中,这用于将netflow数据折叠为每(`minute`,`srcIP`,`dstIP`)元组一行,同时保留有关总数据包和字节计数的聚合信息。
|
||||
2. 一些聚合器,特别是近似聚合器,即使在非汇总数据上,如果在接收时部分计算,也可以在查询时更快地计算它们。
|
||||
|
||||
Metrics是通过 [`metricsSpec`](#metricsSpec) 配置的。
|
||||
|
@ -99,7 +99,7 @@ rollup默认是启用状态。
|
|||
Rollup由 `granularitySpec` 中的 `rollup` 配置项控制。 默认情况下,值为 `true`(启用状态)。如果你想让Druid按原样存储每条记录,而不需要任何汇总,将该值设置为 `false`。
|
||||
|
||||
#### rollup示例
|
||||
有关如何配置Rollup以及该特性将如何修改数据的示例,请参阅[Rollup教程](../Tutorials/chapter-5.md)。
|
||||
有关如何配置Rollup以及该特性将如何修改数据的示例,请参阅[Rollup教程](../tutorials/chapter-5.md)。
|
||||
|
||||
#### 最大化rollup比率
|
||||
通过比较Druid中的行数和接收的事件数,可以测量数据源的汇总率。这个数字越高,从汇总中获得的好处就越多。一种方法是使用[Druid SQL](../Querying/druidsql.md)查询,比如:
|
||||
|
|
|
@ -22,7 +22,7 @@ Kafka索引服务支持在Overlord上配置*supervisors*,supervisors通过管
|
|||
|
||||
### 教程
|
||||
|
||||
本页包含基于Apache Kafka的摄取的参考文档。同样,您可以查看 [Apache Kafka教程](../Tutorials/chapter-2.md) 中的加载。
|
||||
本页包含基于Apache Kafka的摄取的参考文档。同样,您可以查看 [Apache Kafka教程](../tutorials/chapter-2.md) 中的加载。
|
||||
|
||||
### 提交一个supervisor规范
|
||||
|
||||
|
|
|
@ -141,10 +141,10 @@ $ ./bin/start-micro-quickstart
|
|||
|
||||
以下教程演示了将数据加载到Druid的各种方法,包括批处理和流处理用例。 所有教程均假定您使用的是上面提到的`micro-quickstart`单机配置。
|
||||
|
||||
* [加载本地文件](../Tutorials/chapter-1.md) - 本教程演示了如何使用Druid的本地批处理摄取来执行批文件加载
|
||||
* [从Kafka加载流数据](../Tutorials/chapter-2.md) - 本教程演示了如何从Kafka主题加载流数据
|
||||
* [从Hadoop加载数据](../Tutorials/chapter-3.md) - 本教程演示了如何使用远程Hadoop集群执行批处理文件加载
|
||||
* [编写一个自己的数据摄取规范](../Tutorials/chapter-10.md) - 本教程演示了如何编写新的数据摄取规范并使用它来加载数据
|
||||
* [加载本地文件](../tutorials/tutorial-batch.md) - 本教程演示了如何使用Druid的本地批处理摄取来执行批文件加载
|
||||
* [从Kafka加载流数据](../tutorials/chapter-2.md) - 本教程演示了如何从Kafka主题加载流数据
|
||||
* [从Hadoop加载数据](../tutorials/chapter-3.md) - 本教程演示了如何使用远程Hadoop集群执行批处理文件加载
|
||||
* [编写一个自己的数据摄取规范](../tutorials/chapter-10.md) - 本教程演示了如何编写新的数据摄取规范并使用它来加载数据
|
||||
|
||||
##### 重置集群状态
|
||||
|
||||
|
@ -154,7 +154,7 @@ $ ./bin/start-micro-quickstart
|
|||
|
||||
##### 重置Kafka
|
||||
|
||||
如果您完成了[教程:从Kafka加载流数据](../Tutorials/chapter-2.md)并希望重置集群状态,则还应该清除所有Kafka状态。
|
||||
如果您完成了[教程:从Kafka加载流数据](../tutorials/chapter-2.md)并希望重置集群状态,则还应该清除所有Kafka状态。
|
||||
|
||||
在停止ZooKeeper和Druid服务之前,使用`CTRL-C`关闭`Kafka Broker`,然后删除`/tmp/kafka-logs`中的Kafka日志目录:
|
||||
|
||||
|
|
62
README.md
|
@ -1,38 +1,32 @@
|
|||
## Apache Druid是一个高性能的实时分析型数据库
|
||||
|
||||
<script async src="https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js"></script>
|
||||
<ins class="adsbygoogle"
|
||||
style="display:block; text-align:center;"
|
||||
data-ad-layout="in-article"
|
||||
data-ad-format="fluid"
|
||||
data-ad-client="ca-pub-8828078415045620"
|
||||
data-ad-slot="7586680510"></ins>
|
||||
<script>
|
||||
(adsbygoogle = window.adsbygoogle || []).push({});
|
||||
</script>
|
||||
|
||||
* ### 云原生、流原生的分析型数据库
|
||||
|
||||
Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。在实际中[众多场景](Misc/usercase.md)下数据仓库解决方案中,可以考虑将Druid当做一种开源的替代解决方案。
|
||||
|
||||
* ### 可轻松与现有的数据管道进行集成
|
||||
|
||||
Druid原生支持从[Kafka](http://kafka.apache.org/)、[Amazon Kinesis](https://aws.amazon.com/cn/kinesis/)等消息总线中流式的消费数据,也同时支持从[HDFS](https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html)、[Amazon S3](https://aws.amazon.com/cn/s3/)等存储服务中批量的加载数据文件。
|
||||
|
||||
* ### 较传统方案提升近百倍的效率
|
||||
|
||||
Druid创新地在架构设计上吸收和结合了[数据仓库](https://en.wikipedia.org/wiki/Data_warehouse)、[时序数据库](https://en.wikipedia.org/wiki/Time_series_database)以及[检索系统](https://en.wikipedia.org/wiki/Search_engine_(computing))的优势,在已经完成的[基准测试](https://imply.io/post/performance-benchmark-druid-presto-hive)中展现出来的性能远远超过数据摄入与查询的传统解决方案。
|
||||
|
||||
* ### 解锁了一种新型的工作流程
|
||||
|
||||
Druid为点击流、APM、供应链、网络监测、市场营销以及其他事件驱动类型的数据分析解锁了一种[新型的查询与工作流程](Misc/usercase.md),它专为实时和历史数据高效快速的即席查询而设计。
|
||||
|
||||
* ### 可部署在AWS/GCP/Azure,混合云,Kubernetes, 以及裸机上
|
||||
|
||||
无论在云上还是本地,Druid可以轻松的部署在商用硬件上的任何*NIX环境。部署Druid也是非常简单的,包括集群的扩容或者下线都也同样很简单。
|
||||
|
||||
---
|
||||
[中文文档](https://druid.apache.org/docs/latest/design/) |
|
||||
[官方网站](https://druid.apache.org/) |
|
||||
[官方文档(英文)](https://druid.apache.org/docs/latest/design/) |
|
||||
[开发者邮件地址](https://lists.apache.org/list.html?dev@druid.apache.org) |
|
||||
[用户邮件地址](https://groups.google.com/forum/#!forum/druid-user) |
|
||||
[Slack](https://s.apache.org/slack-invite) |
|
||||
[下载地址](https://druid.apache.org/downloads.html)
|
||||
---
|
||||
|
||||
## Apache Druid
|
||||
Apache Druid 是一个高性能的实时分析型数据库。
|
||||
|
||||
### 云原生、流原生的分析型数据库
|
||||
Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。
|
||||
|
||||
在实际中[众多场景](Misc/usercase.md)下数据仓库解决方案中,可以考虑将Druid当做一种开源的替代解决方案。
|
||||
|
||||
### 可轻松与现有的数据管道进行集成
|
||||
Druid原生支持从[Kafka](http://kafka.apache.org/)、[Amazon Kinesis](https://aws.amazon.com/cn/kinesis/)等消息总线中流式的消费数据,也同时支持从[HDFS](https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html)、[Amazon S3](https://aws.amazon.com/cn/s3/)等存储服务中批量的加载数据文件。
|
||||
|
||||
### 较传统方案提升近百倍的效率
|
||||
Druid创新地在架构设计上吸收和结合了[数据仓库](https://en.wikipedia.org/wiki/Data_warehouse)、[时序数据库](https://en.wikipedia.org/wiki/Time_series_database)以及[检索系统](https://en.wikipedia.org/wiki/Search_engine_(computing))的优势,在已经完成的[基准测试](https://imply.io/post/performance-benchmark-druid-presto-hive)中展现出来的性能远远超过数据摄入与查询的传统解决方案。
|
||||
|
||||
### 解锁了一种新型的工作流程
|
||||
Druid为点击流、APM、供应链、网络监测、市场营销以及其他事件驱动类型的数据分析解锁了一种[新型的查询与工作流程](Misc/usercase.md),它专为实时和历史数据高效快速的即席查询而设计。
|
||||
|
||||
### 可部署在AWS/GCP/Azure,混合云,Kubernetes, 以及裸机上
|
||||
无论在云上还是本地,Druid可以轻松的部署在商用硬件上的任何*NIX环境。部署Druid也是非常简单的,包括集群的扩容或者下线都也同样很简单。
|
||||
|
||||
> [!TIP]
|
||||
> 在国内Druid的使用者越来越多,但是并没有一个很好的中文版本的使用文档。 本文档根据Apache Druid官方文档0.20.1版本进行翻译,目前托管在Github上,欢迎更多的Druid使用者以及爱好者加入翻译行列,为国内的使用者提供一个高质量的中文版本使用文档。
|
||||
|
||||
|
|
24
SUMMARY.md
|
@ -21,18 +21,18 @@
|
|||
* [集群部署](GettingStarted/chapter-4.md)
|
||||
|
||||
* [使用指导]()
|
||||
* [加载本地文件](Tutorials/chapter-1.md)
|
||||
* [从Kafka加载数据](Tutorials/chapter-2.md)
|
||||
* [从Hadoop加载数据](Tutorials/chapter-3.md)
|
||||
* [查询数据](Tutorials/chapter-4.md)
|
||||
* [Rollup操作](Tutorials/chapter-5.md)
|
||||
* [配置数据保留规则](Tutorials/chapter-6.md)
|
||||
* [数据更新](Tutorials/chapter-7.md)
|
||||
* [合并段文件](Tutorials/chapter-8.md)
|
||||
* [删除数据](Tutorials/chapter-9.md)
|
||||
* [摄入配置规范](Tutorials/chapter-10.md)
|
||||
* [转换输入数据](Tutorials/chapter-11.md)
|
||||
* [Kerberized HDFS存储](Tutorials/chapter-12.md)
|
||||
* [加载本地文件](tutorials/tutorial-batch.md)
|
||||
* [从Kafka加载数据](tutorials/chapter-2.md)
|
||||
* [从Hadoop加载数据](tutorials/chapter-3.md)
|
||||
* [查询数据](tutorials/chapter-4.md)
|
||||
* [Rollup操作](tutorials/chapter-5.md)
|
||||
* [配置数据保留规则](tutorials/chapter-6.md)
|
||||
* [数据更新](tutorials/chapter-7.md)
|
||||
* [合并段文件](tutorials/chapter-8.md)
|
||||
* [删除数据](tutorials/chapter-9.md)
|
||||
* [摄入配置规范](tutorials/chapter-10.md)
|
||||
* [转换输入数据](tutorials/chapter-11.md)
|
||||
* [Kerberized HDFS存储](tutorials/chapter-12.md)
|
||||
|
||||
* [架构设计]()
|
||||
* [整体设计](Design/Design.md)
|
||||
|
|
20
_sidebar.md
|
@ -1,20 +1,20 @@
|
|||
- CWIKIUS.CN 概述
|
||||
- [文档介绍和快速链接](README.md)
|
||||
- DRUID.OSSEZ.COM 概述
|
||||
- [项目概述](README.md)
|
||||
- [公众平台](CONTACT.md)
|
||||
|
||||
- 湘南地区古村落
|
||||
- [毛坪里村](yong-zhou/ling-ling/mao-ping-li-cun/index.md)
|
||||
- [塘付村](yong-zhou/ling-ling/tang-fu-cun/index.md)
|
||||
- [赵家湾村](yong-zhou/ling-ling/zhao-jia-wan-cun/index.md)
|
||||
- 开始使用
|
||||
- [从文件中载入数据](yong-zhou/ling-ling/mao-ping-li-cun/index.md)
|
||||
- [从 Kafka 中载入数据](yong-zhou/ling-ling/tang-fu-cun/index.md)
|
||||
- [从 Hadoop 中载入数据](yong-zhou/ling-ling/zhao-jia-wan-cun/index.md)
|
||||
|
||||
- 其他小工具
|
||||
- 设计(Design)
|
||||
- [JWT](jwt/README.md)
|
||||
- [MessagePack](message-pack/index.md)
|
||||
- [Protocol Buffers](protocol-buffers/index.md)
|
||||
|
||||
- 面试和算法
|
||||
- 摄取(Ingestion)
|
||||
- [面试问题和经验](interview/index.md)
|
||||
- [算法题](algorithm/index.md)
|
||||
|
||||
- [Awesome docsify](awesome.md)
|
||||
- 查询(Querying)
|
||||
|
||||
- [Changelog](changelog.md)
|
|
@ -17,7 +17,7 @@
|
|||
|
||||
本教程我们假设您已经按照[单服务器部署](../GettingStarted/chapter-3.md)中描述下载了Druid,并运行在本地机器上。
|
||||
|
||||
完成[加载本地文件](./chapter-1.md)、[数据查询](./chapter-4.md)和[roll-up](./chapter-5.md)部分内容也是非常有帮助的
|
||||
完成[加载本地文件](tutorial-batch.md)、[数据查询](./chapter-4.md)和[roll-up](./chapter-5.md)部分内容也是非常有帮助的
|
||||
|
||||
### 示例数据
|
||||
|
|
@ -17,7 +17,7 @@
|
|||
|
||||
本教程我们假设您已经按照[单服务器部署](../GettingStarted/chapter-3.md)中描述下载了Druid,并运行在本地机器上。
|
||||
|
||||
完成[加载本地文件](./chapter-1.md)、[数据查询](./chapter-4.md)和[roll-up](./chapter-5.md)部分内容也是非常有帮助的
|
||||
完成[加载本地文件](tutorial-batch.md)、[数据查询](./chapter-4.md)和[roll-up](./chapter-5.md)部分内容也是非常有帮助的
|
||||
|
||||
### 样例数据
|
||||
|
|
@ -15,7 +15,7 @@
|
|||
|
||||
本教程向您展示如何使用远程Hadoop集群将数据文件加载到Apache Druid中。
|
||||
|
||||
对于本教程,我们假设您已经使用[快速入门](../GettingStarted/chapter-2.md)中所述的 `micro-quickstart` 单机配置完成了前边的[批处理摄取指南](./chapter-1.md)。
|
||||
对于本教程,我们假设您已经使用[快速入门](../GettingStarted/chapter-2.md)中所述的 `micro-quickstart` 单机配置完成了前边的[批处理摄取指南](tutorial-batch.md)。
|
||||
|
||||
### 安装Docker
|
||||
|
|
@ -17,7 +17,7 @@
|
|||
|
||||
本教程假定您已经完成了摄取教程之一,因为我们将查询Wikipedia编辑样例数据。
|
||||
|
||||
* [加载本地文件](./chapter-1.md)
|
||||
* [加载本地文件](tutorial-batch.md)
|
||||
* [从Kafka加载数据](./chapter-2.md)
|
||||
* [从Hadoop加载数据](./chapter-3.md)
|
||||
|
|
@ -19,7 +19,7 @@ Apache Druid可以通过roll-up在数据摄取阶段对原始数据进行汇总
|
|||
|
||||
本教程我们假设您已经按照[单服务器部署](../GettingStarted/chapter-3.md)中描述下载了Druid,并运行在本地机器上。
|
||||
|
||||
完成[加载本地文件](./chapter-1.md)和[数据查询](./chapter-4.md)两部分内容也是非常有帮助的。
|
||||
完成[加载本地文件](tutorial-batch.md)和[数据查询](./chapter-4.md)两部分内容也是非常有帮助的。
|
||||
|
||||
### 示例数据
|
||||
|
|
@ -17,7 +17,7 @@
|
|||
|
||||
本教程我们假设您已经按照[单服务器部署](../GettingStarted/chapter-3.md)中描述下载了Druid,并运行在本地机器上。
|
||||
|
||||
完成[加载本地文件](./chapter-1.md)和[数据查询](./chapter-4.md)两部分内容也是非常有帮助的。
|
||||
完成[加载本地文件](tutorial-batch.md)和[数据查询](./chapter-4.md)两部分内容也是非常有帮助的。
|
||||
|
||||
### 加载示例数据
|
||||
|
|
@ -16,7 +16,7 @@
|
|||
|
||||
本教程我们假设您已经按照[单服务器部署](../GettingStarted/chapter-3.md)中描述下载了Druid,并运行在本地机器上。
|
||||
|
||||
完成[加载本地文件](./chapter-1.md)、[数据查询](./chapter-4.md)和[roll-up](./chapter-5.md)部分内容也是非常有帮助的
|
||||
完成[加载本地文件](tutorial-batch.md)、[数据查询](./chapter-4.md)和[roll-up](./chapter-5.md)部分内容也是非常有帮助的
|
||||
|
||||
### 数据覆盖
|
||||
本节教程将介绍如何覆盖现有的指定间隔的数据
|
|
@ -19,7 +19,7 @@
|
|||
|
||||
本教程我们假设您已经按照[单服务器部署](../GettingStarted/chapter-3.md)中描述下载了Druid,并运行在本地机器上。
|
||||
|
||||
完成[加载本地文件](./chapter-1.md)和[数据查询](./chapter-4.md)两部分内容也是非常有帮助的。
|
||||
完成[加载本地文件](tutorial-batch.md)和[数据查询](./chapter-4.md)两部分内容也是非常有帮助的。
|
||||
|
||||
### 加载初始数据
|
||||
|
Before Width: | Height: | Size: 133 KiB After Width: | Height: | Size: 133 KiB |
Before Width: | Height: | Size: 468 KiB After Width: | Height: | Size: 468 KiB |
Before Width: | Height: | Size: 208 KiB After Width: | Height: | Size: 208 KiB |
Before Width: | Height: | Size: 250 KiB After Width: | Height: | Size: 250 KiB |
Before Width: | Height: | Size: 251 KiB After Width: | Height: | Size: 251 KiB |
Before Width: | Height: | Size: 100 KiB After Width: | Height: | Size: 100 KiB |
Before Width: | Height: | Size: 96 KiB After Width: | Height: | Size: 96 KiB |
Before Width: | Height: | Size: 169 KiB After Width: | Height: | Size: 169 KiB |
Before Width: | Height: | Size: 114 KiB After Width: | Height: | Size: 114 KiB |
Before Width: | Height: | Size: 118 KiB After Width: | Height: | Size: 118 KiB |
Before Width: | Height: | Size: 148 KiB After Width: | Height: | Size: 148 KiB |
Before Width: | Height: | Size: 122 KiB After Width: | Height: | Size: 122 KiB |
Before Width: | Height: | Size: 139 KiB After Width: | Height: | Size: 139 KiB |
Before Width: | Height: | Size: 115 KiB After Width: | Height: | Size: 115 KiB |
Before Width: | Height: | Size: 498 KiB After Width: | Height: | Size: 498 KiB |
Before Width: | Height: | Size: 213 KiB After Width: | Height: | Size: 213 KiB |
Before Width: | Height: | Size: 255 KiB After Width: | Height: | Size: 255 KiB |
Before Width: | Height: | Size: 251 KiB After Width: | Height: | Size: 251 KiB |
Before Width: | Height: | Size: 92 KiB After Width: | Height: | Size: 92 KiB |
Before Width: | Height: | Size: 133 KiB After Width: | Height: | Size: 133 KiB |
Before Width: | Height: | Size: 96 KiB After Width: | Height: | Size: 96 KiB |
Before Width: | Height: | Size: 168 KiB After Width: | Height: | Size: 168 KiB |
Before Width: | Height: | Size: 111 KiB After Width: | Height: | Size: 111 KiB |
Before Width: | Height: | Size: 117 KiB After Width: | Height: | Size: 117 KiB |
Before Width: | Height: | Size: 149 KiB After Width: | Height: | Size: 149 KiB |
Before Width: | Height: | Size: 140 KiB After Width: | Height: | Size: 140 KiB |
Before Width: | Height: | Size: 148 KiB After Width: | Height: | Size: 148 KiB |
Before Width: | Height: | Size: 141 KiB After Width: | Height: | Size: 141 KiB |
Before Width: | Height: | Size: 138 KiB After Width: | Height: | Size: 138 KiB |
Before Width: | Height: | Size: 65 KiB After Width: | Height: | Size: 65 KiB |
Before Width: | Height: | Size: 51 KiB After Width: | Height: | Size: 51 KiB |
Before Width: | Height: | Size: 80 KiB After Width: | Height: | Size: 80 KiB |
Before Width: | Height: | Size: 77 KiB After Width: | Height: | Size: 77 KiB |
Before Width: | Height: | Size: 34 KiB After Width: | Height: | Size: 34 KiB |
Before Width: | Height: | Size: 235 KiB After Width: | Height: | Size: 235 KiB |
Before Width: | Height: | Size: 29 KiB After Width: | Height: | Size: 29 KiB |
Before Width: | Height: | Size: 44 KiB After Width: | Height: | Size: 44 KiB |
Before Width: | Height: | Size: 38 KiB After Width: | Height: | Size: 38 KiB |
Before Width: | Height: | Size: 134 KiB After Width: | Height: | Size: 134 KiB |
Before Width: | Height: | Size: 35 KiB After Width: | Height: | Size: 35 KiB |
Before Width: | Height: | Size: 163 KiB After Width: | Height: | Size: 163 KiB |
Before Width: | Height: | Size: 26 KiB After Width: | Height: | Size: 26 KiB |
Before Width: | Height: | Size: 180 KiB After Width: | Height: | Size: 180 KiB |
Before Width: | Height: | Size: 26 KiB After Width: | Height: | Size: 26 KiB |
Before Width: | Height: | Size: 202 KiB After Width: | Height: | Size: 202 KiB |
Before Width: | Height: | Size: 26 KiB After Width: | Height: | Size: 26 KiB |
Before Width: | Height: | Size: 28 KiB After Width: | Height: | Size: 28 KiB |
Before Width: | Height: | Size: 43 KiB After Width: | Height: | Size: 43 KiB |
Before Width: | Height: | Size: 429 KiB After Width: | Height: | Size: 429 KiB |
Before Width: | Height: | Size: 427 KiB After Width: | Height: | Size: 427 KiB |