hadoop ingest infra

This commit is contained in:
liujianhuan 2020-05-08 19:01:54 +08:00
parent 026e2fdbf9
commit 73b5339479
2 changed files with 41 additions and 30 deletions

View File

@ -1,29 +1,20 @@
<!-- toc --> <!-- toc -->
## 基于Hadoop的摄入 ## 基于Hadoop的摄入
### 教程 ### 教程
### 并行任务 ### 任务符号
#### 任务符号 #### `dataSchema`
##### `dataSchema` #### `ioConfig`
##### `ioConfig` ##### `inputSpec`
##### `tuningConfig` #### `tuningConfig`
#### 分割提示规范 ##### `jobProperties`
##### `partitionsSpec` #### `partitionsSpec`
#### HTTP状态接口 ##### 基于哈希的分区
#### 容量规划 ##### 单一维度范围分区
### 简单任务 ### 远程Hadoop集群
#### 任务符号 ### Elastic MapReduce
##### `dataSchema` ### Kerberized Hadoop集群
##### `ioConfig` #### 从具有EMR的S3加载
##### `tuningConfig` ### 使用其他的Hadoop
##### `partitionsSpec` ### 命令行版本
##### `segmentWriteOutMediumFactory` #### 可选项
#### 段推模式 #### 规范文件
### 输入源
#### S3输入源
#### 谷歌云存储输入源
#### Azure输入源
#### HDFS输入源
#### HTTP输入源
#### Inline输入源
#### Local输入源
#### Druid输入源

View File

@ -1,9 +1,29 @@
<!-- toc --> <!-- toc -->
## 本地批摄入 ## 本地批摄入
### 教程 ### 教程
#### 并行任务 ### 并行任务
#### 任务符号
##### `dataSchema`
##### `ioConfig`
##### `tuningConfig`
#### 分割提示规范
##### `partitionsSpec`
#### HTTP状态接口
#### 容量规划
### 简单任务
#### 任务符号
##### `dataSchema`
##### `ioConfig`
##### `tuningConfig` ##### `tuningConfig`
##### `partitionsSpec` ##### `partitionsSpec`
#### 简单任务 ##### `segmentWriteOutMediumFactory`
#### 输入数据源 #### 段推模式
##### Druid输入源 ### 输入源
#### S3输入源
#### 谷歌云存储输入源
#### Azure输入源
#### HDFS输入源
#### HTTP输入源
#### Inline输入源
#### Local输入源
#### Druid输入源