iSharkFly-Docs
/
druid-docs-cn
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

对 Kafka 数据载入 - 提交一个 Supervisor 规范

This commit is contained in:
YuCheng Hu 2021-08-09 10:31:35 -04:00
parent 6818215f83
commit 88ea680605
1 changed files with 9 additions and 10 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

19
development/extensions-core/kafka-ingestion.md
View File

@ -12,22 +12,21 @@ supervisor 对索引任务的状态进行监控，以便于对任务进行扩展
> 在使用 Druid 从 Kafka中导入数据之前，请确保你的 Kafka 版本为 0.11.x 或更高版本。 > 在使用 Druid 从 Kafka中导入数据之前，请确保你的 Kafka 版本为 0.11.x 或更高版本。
> 如果你使用的是旧版本的 Kafka brokers，请参阅《 [Kafka升级指南](https://kafka.apache.org/documentation/#upgrade) 》中的内容先进行升级。 > 如果你使用的是旧版本的 Kafka brokers，请参阅《 [Kafka升级指南](https://kafka.apache.org/documentation/#upgrade) 》中的内容先进行升级。
## Tutorial ## 教程
针对使用 Apache Kafka 数据导入中的参考文档，请访问 [Loading from Apache Kafka](../../tutorials/tutorial-kafka.md) 页面中的教程。
This page contains reference documentation for Apache Kafka-based ingestion. ## 提交一个 Supervisor 规范
For a walk-through instead, check out the [Loading from Apache Kafka](../../tutorials/tutorial-kafka.md) tutorial.
## Submitting a Supervisor Spec Kafka 的所以服务需要 `druid-kafka-indexing-service` 扩展同时安装在 Overlord 和 MiddleManagers 服务器上。
你可以通过提交一个 supervisor 规范到 Druid 中来完成数据源的设置。你可以采用 HTTP POST 的方法来进行提交，发送的地址为：
The Kafka indexing service requires that the `druid-kafka-indexing-service` extension be loaded on both the Overlord and the `http://<OVERLORD_IP>:<OVERLORD_PORT>/druid/indexer/v1/supervisor`，一个具体的提交示例如下：
MiddleManagers. A supervisor for a dataSource is started by submitting a supervisor spec via HTTP POST to
`http://<OVERLORD_IP>:<OVERLORD_PORT>/druid/indexer/v1/supervisor`, for example:
``` ```
curl -X POST -H 'Content-Type: application/json' -d @supervisor-spec.json http://localhost:8090/druid/indexer/v1/supervisor curl -X POST -H 'Content-Type: application/json' -d @supervisor-spec.json http://localhost:8090/druid/indexer/v1/supervisor
``` ```
A sample supervisor spec is shown below: 一个示例的 supervisor 规范如下：
```json ```json
{ {
@ -91,9 +90,9 @@ A sample supervisor spec is shown below:
} }
``` ```
## Supervisor Configuration ## Supervisor 配置
|Field|Description|Required| |字段（Field）|描述（Description）|是否必须（Required）|
|--------|-----------|---------| |--------|-----------|---------|
|`type`|The supervisor type, this should always be `kafka`.|yes| |`type`|The supervisor type, this should always be `kafka`.|yes|
|`dataSchema`|The schema that will be used by the Kafka indexing task during ingestion. See [`dataSchema`](../../ingestion/index.md#dataschema) for details.|yes| |`dataSchema`|The schema that will be used by the Kafka indexing task during ingestion. See [`dataSchema`](../../ingestion/index.md#dataschema) for details.|yes|