排查磁盘使用率过高问题

TICK stack 组件的磁盘空间不被耗尽至关重要。磁盘使用率达到 100% 的机器将无法正常运行。

在监控仪表盘中，磁盘使用率过高将显示在 磁盘利用率 % 指标中，并类似于以下内容

潜在原因

旧数据未被降采样

InfluxDB 使用保留策略和连续查询来降采样旧数据并节省磁盘空间。如果使用无限保留策略或持续时间较长的策略，高分辨率数据将占用越来越多的磁盘空间。

日志数据未被删除

日志数据在您的监控解决方案中非常有用，但也可能比其他类型的时间序列数据需要更多的磁盘空间。很多时候，日志数据存储在无限保留策略（默认保留策略持续时间）中，这意味着它永远不会被删除。这将不可避免地导致磁盘利用率过高。

解决方案

删除不必要的数据

解决磁盘利用率过高的最简单方法是删除旧的或不必要的数据。这可以通过暴力方式（删除/丢弃数据）来完成，或者通过更优雅的方式，即调整您的保留策略的持续时间并调整您的连续查询中的降采样率。

日志数据保留策略

日志数据应仅存储在有限的保留策略中。您的保留策略的持续时间取决于您希望保留日志数据的时间长短。

是否在日志数据保留期结束时使用连续查询来降采样日志数据取决于您，但旧的日志数据应该被降采样或完全删除。

扩展机器的磁盘容量

如果删除或降采样数据不是一个选项，您可以始终扩展机器的磁盘容量。如何做到这一点取决于您的硬件或虚拟化配置，并且本文档未涵盖。

建议

设置磁盘使用率警报

为了抢先解决磁盘利用率问题，创建一个任务，在磁盘使用率超过特定阈值时向您发出警报。下面的 TICKscript 示例设置了警告和严重磁盘使用率阈值，并在超过这些阈值时向 Slack 发送消息。

有关 Kapacitor 任务和警报的信息，请参阅 Kapacitor 警报 文档。

磁盘使用率的 TICKscript 警报示例

// Disk usage alerts
// Alert when disks are this % full
var warn_threshold = 80
var crit_threshold = 90

// Use a larger period here, as the telegraf data can be a little late
// if the server is under load.
var period = 10m

// How often to query for the period.
var every = 20m

var data = batch
  |query('''
    SELECT last(used_percent) FROM "telegraf"."default".disk
    WHERE ("path" = '/influxdb/conf' or "path" = '/')
    ''')
    .period(period)
    .every(every)
    .groupBy('host', 'path')

data
  |alert()
    .id('Alert: Disk Usage, Host: {{ index .Tags "host" }}, Path: {{ index .Tags "path" }}')
    .warn(lambda: "last" > warn_threshold)
    .message('{{ .ID }}, Used Percent: {{ index .Fields "last" | printf "%0.0f" }}%')
    .details('')
    .stateChangesOnly()
    .slack()

data
  |alert()
    .id('Alert: Disk Usage, Host: {{ index .Tags "host" }}, Path: {{ index .Tags "path" }}')
    .crit(lambda: "last" > crit_threshold)
    .message('{{ .ID }}, Used Percent: {{ index .Fields "last" | printf "%0.0f" }}%')
    .details('')
    .slack()