文档文档

数据摄取生命周期最佳实践

摄取到 InfluxDB 中的数据必须符合存储它的数据库的保留期。时间戳超出保留期的数据不再可查询,但可能仍会在 Object storageCatalog 中维护引用,从而导致运营开销和成本增加。为了减少这些因素,管理摄取数据的生命周期非常重要。

使用以下最佳实践来管理 InfluxDB 集群中的数据生命周期

使用适当的保留期

创建或更新数据库时,使用适合您需求的保留期。存储超出需要的数据会给您的 InfluxDB 集群增加不必要的运营成本。

调整垃圾回收

一旦数据超出数据库的保留期,垃圾回收服务可以从 Catalog 和 Object store 中删除与数据关联的所有工件。调整垃圾收集器截止期,以确保及时删除数据。

使用以下环境变量来调整垃圾收集器

  • INFLUXDB_IOX_GC_OBJECTSTORE_CUTOFF:Object storage 中未在 Catalog 中引用的 Parquet 文件符合删除条件的期限。 默认值为 30d
  • INFLUXDB_IOX_GC_PARQUETFILE_CUTOFF:在 Catalog 中保留引用标记为删除的 Parquet 文件中的行的时长。 默认值为 30d

这些值调整了垃圾收集器的激进程度。持续时间值越短意味着可以更快地删除文件。

为了确保在删除文件和引用之前有一个缓冲期,最小垃圾收集器 (GC) 对象存储和 Parquet 文件截止时间为三小时 (3h)。

我们建议将这些选项设置为与您组织的备份和恢复策略一致的值。例如,对于运行仅维护最近数据的引用且不需要备份的精简 Catalog,6h(6 小时)的值是合适的。

用例示例

使用以下场景作为不同用例的指南

前沿数据,无备份

自定义备份窗口对象存储版本控制

自定义备份窗口不带对象存储版本控制


此页面是否对您有帮助?

感谢您的反馈!


Flux 的未来

Flux 即将进入维护模式。您可以继续像现在这样使用它,而无需对代码进行任何更改。

阅读更多

InfluxDB 3 开源版本现已发布公开 Alpha 版

InfluxDB 3 开源版本现已可用于 Alpha 测试,根据 MIT 或 Apache 2 许可授权。

我们正在发布两个产品作为 Alpha 版本的一部分。

InfluxDB 3 Core 是我们新的开源产品。它是一个用于时间序列和事件数据的最新数据引擎。InfluxDB 3 Enterprise 是一个商业版本,它建立在 Core 的基础上,增加了历史查询功能、读取副本、高可用性、可扩展性和细粒度的安全性。

有关如何开始使用的更多信息,请查看