Google BigQuery 输出插件
此插件将指标写入 Google Cloud BigQuery 服务,并需要使用服务帐户或用户凭据 通过 Google Cloud 进行身份验证。
请注意,此插件访问 收费 的 API,可能会产生费用。
引入于: Telegraf v1.18.0 标签: cloud, datastore 操作系统支持: all
全局配置选项
插件支持其他全局和插件配置设置,用于修改指标、标签和字段,创建别名以及配置插件顺序等任务。更多详情请参阅 CONFIGURATION.md。
配置
# Configuration for Google Cloud BigQuery to send entries
[[outputs.bigquery]]
## Credentials File
credentials_file = "/path/to/service/account/key.json"
## Google Cloud Platform Project
# project = ""
## The namespace for the metric descriptor
dataset = "telegraf"
## Timeout for BigQuery operations.
# timeout = "5s"
## Character to replace hyphens on Metric name
# replace_hyphen_to = "_"
## Write all metrics in a single compact table
# compact_table = ""将 project 留空表示插件将尝试从凭据文件中检索项目。
需要 dataset 来指定相应的指标表属于哪个 BigQuery 数据集。
每个指标都应该在 BigQuery 中有一个对应的表。BigQuery 上的表架构
- 应包含
timestamp字段,该字段是 telegraph 指标的时间戳 - 应包含同名的指标标签,并且列类型应设置为 string。
- 应包含同名的指标字段,并且列类型应与字段类型匹配。
紧凑表
启用紧凑表时,所有指标都将插入到给定表中,并具有以下架构
[
{
"mode": "REQUIRED",
"name": "timestamp",
"type": "TIMESTAMP"
},
{
"mode": "REQUIRED",
"name": "name",
"type": "STRING"
},
{
"mode": "REQUIRED",
"name": "tags",
"type": "JSON"
},
{
"mode": "REQUIRED",
"name": "fields",
"type": "JSON"
}
]限制
避免在 BigQuery 表中使用连字符,底层 SDK 无法处理流式插入到带有连字符的表中。
对于包含连字符的指标,请使用 重命名处理器插件。
对于包含连字符的指标,默认情况下连字符将被下划线 (_) 替换。这可以通过 replace_hyphen_to 配置属性进行更改。
可用的数据类型选项是
- integer
- float 或 long
- string
- boolean
适用于 BigQuery 的所有字段命名限制都应适用于要导入的测量。
BigQuery 上的表应提前创建,并且在持久化过程中不会创建它们
请注意 timestamp 列,因为它已预留且无法更改。如果需要分区,请确保提前应用。
此页面是否有帮助?
感谢您的反馈!
支持和反馈
感谢您成为我们社区的一员!我们欢迎并鼓励您对 Telegraf 和本文档提出反馈和 bug 报告。要获取支持,请使用以下资源
具有年度合同或支持合同的客户可以 联系 InfluxData 支持。