InfluxDB 3 Core 配置选项

InfluxDB 3 Core 允许您使用 influxdb3 serve 命令选项或设置环境变量来自定义服务器配置。

配置您的服务器

使用命令选项或环境变量将配置选项传递给 influxdb serve 服务器。命令选项优先于环境变量。

influxdb3 serve 命令选项示例

influxdb3 serve \
  --object-store file \
  --data-dir ~/.influxdb3 \
  --node-id my-host \
  --log-filter info \
  --max-http-request-size 20971520 \
  --aws-allow-http

环境变量示例

export INFLUXDB3_OBJECT_STORE=file
export INFLUXDB3_DB_DIR=~/.influxdb3
export INFLUXDB3_WRITER_IDENTIFIER_PREFIX=my-host
export LOG_FILTER=info
export INFLUXDB3_MAX_HTTP_REQUEST_SIZE=20971520
export AWS_ALLOW_HTTP=true

influxdb3 serve

服务器配置选项

• 通用
  • 对象存储
  • 数据目录
  • 节点 ID
  • 查询文件限制
• AWS
  • aws-access-key-id
  • aws-secret-access-key
  • aws-default-region
  • aws-endpoint
  • aws-session-token
  • aws-allow-http
  • aws-skip-signature
• Google 云服务
  • google-service-account
• Microsoft Azure
  • azure-storage-account
  • azure-storage-access-key
• 对象存储
  • 存储桶
  • 对象存储连接限制
  • 对象存储仅限 HTTP/2
  • 对象存储 HTTP/2 最大帧大小
  • 对象存储最大重试次数
  • 对象存储重试超时
  • 对象存储缓存端点
• 日志
  • 日志过滤器
  • 日志目标
  • 日志格式
  • 查询日志大小
• 追踪
  • 追踪导出器
  • traces-exporter-jaeger-agent-host
  • traces-exporter-jaeger-agent-port
  • traces-exporter-jaeger-service-name
  • traces-exporter-jaeger-trace-context-header-name
  • traces-jaeger-debug-name
  • traces-jaeger-tags
  • traces-jaeger-max-msgs-per-second
• DataFusion
  • datafusion-num-threads
  • datafusion-runtime-type
  • datafusion-runtime-disable-lifo-slot
  • datafusion-runtime-event-interval
  • datafusion-runtime-global-queue-interval
  • datafusion-runtime-max-blocking-threads
  • datafusion-runtime-max-io-events-per-tick
  • datafusion-runtime-thread-keep-alive
  • datafusion-runtime-thread-priority
  • datafusion-max-parquet-fanout
  • datafusion-use-cached-parquet-loader
  • datafusion-config
• HTTP
  • 最大 HTTP 请求大小
  • http-bind
  • bearer-token
• 内存
  • ram-pool-data-bytes
  • exec-mem-pool-bytes
  • buffer-mem-limit-mb
  • force-snapshot-mem-threshold
• 预写式日志 (WAL)
  • wal-flush-interval
  • wal-snapshot-size
  • wal-max-write-buffer-size
  • snapshotted-wal-files-to-keep
• 压缩
  • gen1-duration
• 缓存
  • preemptive-cache-age
  • parquet-mem-cache-size-mb
  • parquet-mem-cache-prune-percentage
  • parquet-mem-cache-prune-interval
  • disable-parquet-mem-cache
  • last-cache-eviction-interval
  • distinct-cache-eviction-interval
• 处理引擎
  • 插件目录
  • 虚拟环境位置
  • 包管理器

通用

• 对象存储
• 数据目录
• 节点 ID
• 查询文件限制

对象存储

指定用于存储 Parquet 文件的对象存储。此选项支持以下值

• memory (默认)
• memory-throttled
• file
• s3
• google
• azure

数据目录

定义 InfluxDB 3 Core 用于在本地存储文件的位置。

节点 ID

指定用作所有对象存储文件路径前缀的节点标识符。对于共享相同对象存储配置（例如，相同的存储桶）的任何主机，此标识符应是唯一的。

查询文件限制

限制查询可以访问的 Parquet 文件数量。

默认值： 432

使用默认的 432 设置和默认的 gen1-duration 设置 10 分钟，查询可以访问最多 72 小时的数据，但可能会更少，具体取决于给定 10 分钟时间块的所有数据是否在同一期间被摄取。

您可以增加此限制以允许查询更多文件，但请注意以下副作用

• 读取更多 Parquet 文件的查询的性能下降
• 内存使用量增加
• 您的系统可能由于内存不足 (OOM) 错误而终止 influxdb3 进程
• 如果使用对象存储来存储数据，则会产生许多 GET 请求来访问数据（每个文件最多 2 个）

AWS

• aws-access-key-id
• aws-secret-access-key
• aws-default-region
• aws-endpoint
• aws-session-token
• aws-allow-http
• aws-skip-signature

aws-access-key-id

当使用 Amazon S3 作为对象存储时，将其设置为具有从指定的 S3 存储桶读取和写入权限的访问密钥。

aws-secret-access-key

当使用 Amazon S3 作为对象存储时，将其设置为与指定的访问密钥 ID 关联的密钥。

aws-default-region

当使用 Amazon S3 作为对象存储时，如果与回退值不同，则将其设置为与指定存储桶关联的区域。

默认值： us-east-1

aws-endpoint

当使用 Amazon S3 兼容性存储服务时，将其设置为端点。

aws-session-token

当使用 Amazon S3 作为对象存储时，将其设置为会话令牌。当使用联合登录或 SSO 并通过 UI 获取凭据时，这非常方便。

aws-allow-http

允许与 AWS 建立未加密的 HTTP 连接。

aws-skip-signature

如果启用，S3 对象存储将不会获取凭据，也不会签署请求。

Google 云服务

• google-service-account

google-service-account

当使用 Google Cloud Storage 作为对象存储时，将其设置为包含 Google 凭据的 JSON 文件的路径。

Microsoft Azure

• azure-storage-account
• azure-storage-access-key

azure-storage-account

当使用 Microsoft Azure 作为对象存储时，将其设置为导航到 所有服务 > 存储帐户 > [名称] 时看到的名称。

azure-storage-access-key

当使用 Microsoft Azure 作为对象存储时，将其设置为存储帐户的 设置 > 访问密钥 中的密钥值之一。

对象存储

• 存储桶
• 对象存储连接限制
• 对象存储仅限 HTTP/2
• 对象存储 HTTP/2 最大帧大小
• 对象存储最大重试次数
• 对象存储重试超时
• 对象存储缓存端点

存储桶

设置要使用的对象存储桶的名称。还必须将 --object-store 设置为云对象存储，此选项才能生效。

对象存储连接限制

当使用基于网络的对象存储时，将连接数限制为此值。

默认值： 16

对象存储仅限 HTTP/2

强制对基于网络的对象存储使用 HTTP/2 连接。

对象存储 HTTP/2 最大帧大小

设置 HTTP/2 连接的最大帧大小（以字节/八位字节为单位）。

对象存储最大重试次数

定义重试请求的最大次数。

对象存储重试超时

指定从初始请求开始的最长时间，超过此时间后将不再尝试重试。

对象存储缓存端点

设置与 S3 兼容的、启用 HTTP/2 的对象存储缓存的端点。

日志

• 日志过滤器
• 日志目标
• 日志格式
• 查询日志大小

日志过滤器

设置日志的过滤器指令。

日志目标

指定日志的目标位置。

默认值： stdout

日志格式

定义日志的消息格式。

此选项支持以下值

• full (默认)

默认值： full

查询日志大小

定义查询日志的大小。在此数量的查询之前，日志中会保留最多此数量的查询，然后较旧的查询将被清除，为新查询腾出空间。

默认值： 1000

追踪

• 追踪导出器
• traces-exporter-jaeger-agent-host
• traces-exporter-jaeger-agent-port
• traces-exporter-jaeger-service-name
• traces-exporter-jaeger-trace-context-header-name
• traces-jaeger-debug-name
• traces-jaeger-tags
• traces-jaeger-max-msgs-per-second

追踪导出器

设置追踪导出器的类型。

默认值： none

traces-exporter-jaeger-agent-host

指定 Jaeger 代理网络主机名以进行追踪。

默认值： 0.0.0.0

traces-exporter-jaeger-agent-port

定义 Jaeger 代理网络端口以进行追踪。

默认值： 6831

traces-exporter-jaeger-service-name

设置 Jaeger 服务名称以进行追踪。

默认值： iox-conductor

traces-exporter-jaeger-trace-context-header-name

指定用于传递追踪上下文的标头名称。

默认值： uber-trace-id

traces-jaeger-debug-name

指定用于在追踪中强制采样的标头名称。

默认值： jaeger-debug-id

traces-jaeger-tags

定义一组 key=value 对，用于注释追踪 span。

traces-jaeger-max-msgs-per-second

指定每秒发送到 Jaeger 服务消息的最大数量。

默认值： 1000

DataFusion

• datafusion-num-threads
• datafusion-runtime-type
• datafusion-runtime-disable-lifo-slot
• datafusion-runtime-event-interval
• datafusion-runtime-global-queue-interval
• datafusion-runtime-max-blocking-threads
• datafusion-runtime-max-io-events-per-tick
• datafusion-runtime-thread-keep-alive
• datafusion-runtime-thread-priority
• datafusion-max-parquet-fanout
• datafusion-use-cached-parquet-loader
• datafusion-config

datafusion-num-threads

设置要使用的 DataFusion 运行时线程的最大数量。

datafusion-runtime-type

指定 DataFusion tokio 运行时类型。

此选项支持以下值

• current-thread
• multi-thread (默认)
• multi-thread-alt

默认值： multi-thread

datafusion-runtime-disable-lifo-slot

禁用 DataFusion 运行时的 LIFO 插槽。

此选项支持以下值

• true
• false

datafusion-runtime-event-interval

设置 DataFusion tokio 运行时的调度程序在轮询外部事件（例如：计时器、I/O）之前经过的调度程序滴答数。

datafusion-runtime-global-queue-interval

设置 DataFusion 运行时的调度程序在轮询全局任务队列之前经过的调度程序滴答数。

datafusion-runtime-max-blocking-threads

指定 DataFusion 运行时生成的附加线程的限制。

datafusion-runtime-max-io-events-per-tick

配置 tokio DataFusion 运行时每个滴答处理的最大事件数。

datafusion-runtime-thread-keep-alive

为 tokio DataFusion 运行时的阻塞池中的线程设置自定义超时。

datafusion-runtime-thread-priority

为 tokio DataFusion 运行时工作线程设置线程优先级。

默认值： 10

datafusion-max-parquet-fanout

当排序方式需要多个 parquet 文件时（例如，重复数据删除），指定最大扇出。

默认值： 1000

datafusion-use-cached-parquet-loader

从对象存储读取 parquet 文件时，使用缓存的 parquet 加载器。

datafusion-config

以逗号分隔的 key:value 对列表形式向 DataFusion 提供自定义配置。

HTTP

• 最大 HTTP 请求大小
• http-bind
• bearer-token

最大 HTTP 请求大小

指定 HTTP 请求的最大大小。

默认值： 10485760

http-bind

定义 InfluxDB 提供 HTTP API 请求的地址。

默认值： 0.0.0.0:8181

bearer-token

指定为请求设置的 bearer token。

内存

• ram-pool-data-bytes
• exec-mem-pool-bytes
• buffer-mem-limit-mb
• force-snapshot-mem-threshold

ram-pool-data-bytes

指定用于存储数据的 RAM 缓存的大小，以字节为单位。

默认值： 1073741824

exec-mem-pool-bytes

指定查询执行期间使用的内存池的大小，以字节为单位。

默认值： 8589934592

buffer-mem-limit-mb

指定缓冲数据的 MB 大小限制。如果超出此限制，服务器将强制执行快照。

默认值： 5000

force-snapshot-mem-threshold

指定内部内存缓冲区的阈值。支持百分比（可用内存的一部分）或绝对值（总字节数）——例如：70% 或 100000。

默认值： 70%

预写式日志 (WAL)

• wal-flush-interval
• wal-snapshot-size
• wal-max-write-buffer-size
• snapshotted-wal-files-to-keep

wal-flush-interval

指定将缓冲数据刷新到 WAL 文件的间隔。等待 WAL 确认的写入最多需要此间隔才能完成。

默认值： 1s

wal-snapshot-size

定义在快照中尝试删除的 WAL 文件数量。此数量乘以间隔确定快照的频率。

默认值： 600

wal-max-write-buffer-size

指定在必须执行并成功刷新之前可以缓冲的最大写入请求数。

默认值： 100000

snapshotted-wal-files-to-keep

指定要在对象存储中保留的快照 WAL 文件数。刷新 WAL 文件不会立即清除 WAL 文件；当快照 WAL 文件的数量超过此数量时，它们将被删除。

默认值： 300

压缩

gen1-duration

指定 Parquet 文件排列成的持续时间。数据时间戳将每一行放入此持续时间的文件中。支持的持续时间为 1m、5m 和 10m。这些文件被称为“第 1 代”文件，InfluxDB 3 Enterprise 中的压缩器可以将它们合并为更大的代。

默认值： 10m

缓存

• preemptive-cache-age
• parquet-mem-cache-size-mb
• parquet-mem-cache-prune-percentage
• parquet-mem-cache-prune-interval
• disable-parquet-mem-cache
• last-cache-eviction-interval
• distinct-cache-eviction-interval

preemptive-cache-age

指定在压缩期间预取到 Parquet 缓存中的间隔。

默认值： 3d

parquet-mem-cache-size-mb

定义内存中 Parquet 缓存的大小，以兆字节 (MB) 为单位。

默认值： 1000

parquet-mem-cache-prune-percentage

指定在内存中 Parquet 缓存上的 prune 操作期间要 prune 的条目百分比。

默认值： 0.1

parquet-mem-cache-prune-interval

设置检查内存中 Parquet 缓存是否需要 prune 的间隔。

默认值： 1s

disable-parquet-mem-cache

禁用内存中 Parquet 缓存。默认情况下，缓存处于启用状态。

last-cache-eviction-interval

指定从 Last-N-Value 缓存中驱逐过期条目的间隔，以人类可读的时间表示——例如：20s、1m、1h。

默认值： 10s

distinct-cache-eviction-interval

指定从 distinct value 缓存中驱逐过期条目的间隔，以人类可读的时间表示——例如：20s、1m、1h。

默认值： 10s

处理引擎

• 插件目录
• 虚拟环境位置
• 包管理器

插件目录

指定包含 Python 插件及其测试文件的本地目录。

虚拟环境位置

指定处理引擎使用的 Python 虚拟环境的位置。

包管理器

指定处理引擎使用的 Python 包管理器。

默认值： 10s