druid-docs-cn/Design/Deepstorage.md

1.4 KiB
Raw Blame History

深度存储

Apache Druid不提供的存储机制深度存储是存储段的地方。深度存储基础结构定义了数据的持久性级别只要Druid进程能够看到这个存储基础结构并获得存储在上面的段那么无论丢失多少Druid节点都不会丢失数据。如果段在深度存储层消失了则这些段中存储的任何数据都将丢失。

本地挂载

本地装载也可用于存储段。这使得您可以使用本地文件系统或任何可以在本地挂载的东西如NFS、Ceph等来存储段。这是默认的深度存储实现。

为了使用本地装载进行深层存储,需要在公共配置中设置以下配置:

属性 可能的取值 描述 默认值
druid.storage.type local 必须设置
druid.storage.storageDirectory 存储段的目录 必须设置

注意,通常应该将 druid.storage.storageDirectory 设置为与 druid.segmentCache.locationsdruid.segmentCache.infoDir 不同的目录。

如果在本地模式下使用Hadoop Indexer那么只需给它一个本地目录作为输出目录它就可以工作了。

S3适配

请看druid-s3-extensions扩展文档

HDFS

请看druid-hdfs-extensions扩展文档

其他深度存储

对于另外的深度存储等,可以参见扩展列表