druid-docs-cn/tutorials/tutorial-retention.md

157 lines
7.0 KiB
Markdown
Raw Normal View History

# 数据保留规则
2021-08-01 08:21:10 -04:00
本教程对如何在数据源上配置数据保留规则进行了说明数据保留规则主要定义为数据的保留retained或者卸载dropped的时间。
2021-08-01 08:21:10 -04:00
本教程我们假设您已经按照[单服务器部署](../GettingStarted/chapter-3.md)中描述下载了Druid并运行在本地机器上。
假设你已经完成了 [快速开始](../tutorials/index.md) 页面中的内容或者下面页面中有关的内容,并且你的 Druid 实例已经在你的本地的计算机上运行了。
2021-08-01 08:21:10 -04:00
同时,如果你已经完成了下面内容的阅读的话将会更好的帮助你理解 Roll-up 的相关内容
2021-08-01 08:21:10 -04:00
* [教程:载入一个文件](../tutorials/tutorial-batch.md)
* [教程:查询数据](../tutorials/tutorial-query.md)
2021-08-01 08:21:10 -04:00
## 载入示例数据
2021-08-01 08:21:10 -04:00
在本教程中我们将使用W Wikipedia 编辑的示例数据,其中包含一个摄取任务规范,它将为输入数据每个小时创建一个单独的段。
数据摄取导入规范位于 `quickstart/tutorial/retention-index.json` 文件中。让我们提交这个规范,将创建一个名称为 `retention-tutorial` 的数据源。
```bash
bin/post-index-task --file quickstart/tutorial/retention-index.json --url http://localhost:8081
```
2021-08-01 08:21:10 -04:00
摄取完成后,在浏览器中访问 http://localhost:8888/unified-console.html#datasources](http://localhost:8888/unified-console.html#datasources)
然后访问 Druid 的控制台数据源视图。
此视图显示可用的数据源以及每个数据源定义的数据保留规则摘要。
![Summary](../assets/tutorial-retention-01.png "Summary")
2021-08-01 08:21:10 -04:00
当前,针对 `retention-tutorial` 数据源还没有设置数据保留规则。
2021-08-01 08:21:10 -04:00
需要注意的是,针对集群部署方式会配置一个默认的数据保留规则:永久载入 2 个副本并且替换进 `_default_tier`load forever with 2 replicas in `_default_tier`。ith 2 replicas in `_default_tier`.
2021-08-01 08:21:10 -04:00
这意味着无论时间戳如何,所有数据都将加载,并且每个段将复制到两个 Historical 进程的默认层default tier中。
2021-08-01 08:21:10 -04:00
在本教程中我们将暂时忽略分层tiering和冗余redundancy的概念。
2021-08-01 08:21:10 -04:00
通过单击 `retention-tutorial` 数据源 "Fully Available" 链接边上的 "24 Segments" 来查看段segments信息。
段视图 ([http://localhost:8888/unified-console.html#segments](http://localhost:8888/unified-console.html#segments)) p
[Segment视图](http://localhost:8888/unified-console.html#segments) 提供了一个数据源的段segment信息。
本页显示了有 24 个段,每个段包括有 2015-09-12 每一个小时的数据。
![Original segments](../assets/tutorial-retention-02.png "Original segments")
2021-08-01 08:21:10 -04:00
## 设置保留规则
Suppose we want to drop data for the first 12 hours of 2015-09-12 and keep data for the later 12 hours of 2015-09-12.
Go to the [datasources view](http://localhost:8888/unified-console.html#datasources) and click the blue pencil icon next to `Cluster default: loadForever` for the `retention-tutorial` datasource.
A rule configuration window will appear:
![Rule configuration](../assets/tutorial-retention-03.png "Rule configuration")
Now click the `+ New rule` button twice.
In the upper rule box, select `Load` and `by interval`, and then enter `2015-09-12T12:00:00.000Z/2015-09-13T00:00:00.000Z` in field next to `by interval`. Replicas can remain at 2 in the `_default_tier`.
In the lower rule box, select `Drop` and `forever`.
The rules should look like this:
![Set rules](../assets/tutorial-retention-04.png "Set rules")
Now click `Next`. The rule configuration process will ask for a user name and comment, for change logging purposes. You can enter `tutorial` for both.
Now click `Save`. You can see the new rules in the datasources view:
![New rules](../assets/tutorial-retention-05.png "New rules")
Give the cluster a few minutes to apply the rule change, and go to the [segments view](http://localhost:8888/unified-console.html#segments) in the Druid Console.
The segments for the first 12 hours of 2015-09-12 are now gone:
![New segments](../assets/tutorial-retention-06.png "New segments")
The resulting retention rule chain is the following:
1. loadByInterval 2015-09-12T12/2015-09-13 (12 hours)
2. dropForever
3. loadForever (default rule)
The rule chain is evaluated from top to bottom, with the default rule chain always added at the bottom.
The tutorial rule chain we just created loads data if it is within the specified 12 hour interval.
If data is not within the 12 hour interval, the rule chain evaluates `dropForever` next, which will drop any data.
The `dropForever` terminates the rule chain, effectively overriding the default `loadForever` rule, which will never be reached in this rule chain.
Note that in this tutorial we defined a load rule on a specific interval.
If instead you want to retain data based on how old it is (e.g., retain data that ranges from 3 months in the past to the present time), you would define a Period load rule instead.
2021-08-01 08:21:10 -04:00
## 延伸阅读
* [Load rules](../operations/rule-configuration.md)
### 设置数据保留规则
假设我们想删除2015年9月12日前12小时的数据保留2015年9月12日后12小时的数据。
进入到Datasources视图点击 `retention-tutorial` 数据源的蓝色铅笔的图标 `Cluster default: loadForever`
一个规则配置窗口出现了:
![](img-6/tutorial-retention-03.png)
现在点击 `+ New rule` 按钮两次
在上边的规则框中,选择 `Load``by Interval` 然后输入在 `by Interval` 旁边的输入框中输入 `2015-09-12T12:00:00.000Z/2015-09-13T00:00:00.000Z`, 副本可以选择保持2`_default_tier`
在下边的规则框中,选择 `Drop``forever`
规则看上去是这样的:
![](img-6/tutorial-retention-04.png)
现在点击 `Next`, 规则配置过程将要求提供用户名和注释,以便进行更改日志记录。您可以同时输入教程。
现在点击 `Save`, 可以在Datasources视图中看到新的规则
![](img-6/tutorial-retention-05.png)
给集群几分钟时间应用规则更改然后转到Druid控制台中的segments视图。2015年9月12日前12小时的段文件现已消失
![](img-6/tutorial-retention-06.png)
生成的保留规则链如下:
1. loadByInterval 2015-09-12T12/2015-09-13 (12 hours)
2. dropForever
3. loadForever (默认规则)
规则链是自上而下计算的,默认规则链始终添加在底部
我们刚刚创建的教程规则链在指定的12小时间隔内加载数据
如果数据不在12小时的间隔内则规则链下一步将计算 `dropForever`,这将删除任何数据
`dropForever` 终止了规则链,有效地覆盖了默认的 `loadForever` 规则,在这个规则链中永远不会到达该规则
注意,在本教程中,我们定义了一个特定间隔的加载规则
相反如果希望根据数据的生命周期保留数据例如保留从过去3个月到现在3个月的数据则应定义一个周期性加载规则(Period Load Rule)。
### 进一步阅读
[加载规则](../operations/retainingOrDropData.md)