InfluxDB 3 Core 配置选项

InfluxDB 3 Core 允许您通过使用 influxdb3 serve 命令选项或设置环境变量来自定义服务器配置。

配置您的服务器

使用命令选项或环境变量将配置选项传递给 influxdb serve 服务器。命令选项优先于环境变量。

influxdb3 serve 命令选项示例

influxdb3 serve \
  --object-store file \
  --data-dir ~/.influxdb3 \
  --node-id NODE_ID \
  --log-filter info \
  --max-http-request-size 20971520 \
  --aws-allow-http

环境变量示例

export INFLUXDB3_OBJECT_STORE=file
export INFLUXDB3_DB_DIR=~/.influxdb3
export INFLUXDB3_WRITER_IDENTIFIER_PREFIX=my-host
export LOG_FILTER=info
export INFLUXDB3_MAX_HTTP_REQUEST_SIZE=20971520
export AWS_ALLOW_HTTP=true

influxdb3 serve

服务器配置选项

• 通用
  • object-store
  • data-dir
  • node-id
  • query-file-limit
• AWS
  • aws-access-key-id
  • aws-secret-access-key
  • aws-default-region
  • aws-endpoint
  • aws-session-token
  • aws-allow-http
  • aws-skip-signature
• Google Cloud Service
  • google-service-account
• Microsoft Azure
  • azure-storage-account
  • azure-storage-access-key
• 对象存储
  • bucket
  • object-store-connection-limit
  • object-store-http2-only
  • object-store-http2-max-frame-size
  • object-store-max-retries
  • object-store-retry-timeout
  • object-store-cache-endpoint
• 日志
  • log-filter
  • log-destination
  • log-format
  • query-log-size
• 追踪
  • traces-exporter
  • traces-exporter-jaeger-agent-host
  • traces-exporter-jaeger-agent-port
  • traces-exporter-jaeger-service-name
  • traces-exporter-jaeger-trace-context-header-name
  • traces-jaeger-debug-name
  • traces-jaeger-tags
  • traces-jaeger-max-msgs-per-second
• DataFusion
  • datafusion-num-threads
  • datafusion-runtime-type
  • datafusion-runtime-disable-lifo-slot
  • datafusion-runtime-event-interval
  • datafusion-runtime-global-queue-interval
  • datafusion-runtime-max-blocking-threads
  • datafusion-runtime-max-io-events-per-tick
  • datafusion-runtime-thread-keep-alive
  • datafusion-runtime-thread-priority
  • datafusion-max-parquet-fanout
  • datafusion-use-cached-parquet-loader
  • datafusion-config
• HTTP
  • max-http-request-size
  • http-bind
  • bearer-token
• 内存
  • ram-pool-data-bytes
  • exec-mem-pool-bytes
  • buffer-mem-limit-mb
  • force-snapshot-mem-threshold
• 预写式日志 (WAL)
  • wal-flush-interval
  • wal-snapshot-size
  • wal-max-write-buffer-size
  • snapshotted-wal-files-to-keep
• 压缩
  • gen1-duration
• 缓存
  • preemptive-cache-age
  • parquet-mem-cache-size-mb
  • parquet-mem-cache-prune-percentage
  • parquet-mem-cache-prune-interval
  • disable-parquet-mem-cache
  • last-cache-eviction-interval
  • distinct-cache-eviction-interval
• 处理引擎
  • plugin-dir
  • virtual-env-location
  • package-manager

通用

• object-store
• data-dir
• node-id
• query-file-limit

object-store

指定用于存储 Parquet 文件的对象存储。此选项支持以下值

• memory (默认)
• memory-throttled
• file
• s3
• google
• azure

data-dir

定义 InfluxDB 3 Core 用于在本地存储文件的位置。

node-id

指定用作所有对象存储文件路径前缀的节点标识符。对于共享相同对象存储配置（例如，同一个 bucket）的任何主机，此标识符应是唯一的。

query-file-limit

限制查询可以访问的 Parquet 文件数量。

默认值： 432

使用默认的 432 设置和默认的 gen1-duration 设置（10 分钟），查询可以访问长达 72 小时的数据，但可能会更少，具体取决于在同一时期内是否摄取了给定 10 分钟时间块的所有数据。

您可以增加此限制以允许查询更多文件，但请注意以下副作用

• 读取更多 Parquet 文件的查询性能下降
• 内存使用量增加
• 您的系统可能由于内存不足 (OOM) 错误而终止 influxdb3 进程
• 如果使用对象存储来存储数据，则需要进行多次 GET 请求以访问数据（每个文件最多 2 次）

AWS

• aws-access-key-id
• aws-secret-access-key
• aws-default-region
• aws-endpoint
• aws-session-token
• aws-allow-http
• aws-skip-signature

aws-access-key-id

当使用 Amazon S3 作为对象存储时，请将其设置为具有从指定的 S3 bucket 读取和写入权限的访问密钥。

aws-secret-access-key

当使用 Amazon S3 作为对象存储时，请将其设置为与指定的访问密钥 ID 对应的密钥。

aws-default-region

当使用 Amazon S3 作为对象存储时，如果区域与回退值不同，请将其设置为与指定的 bucket 对应的区域。

默认值： us-east-1

aws-endpoint

当使用 Amazon S3 兼容性存储服务时，请将其设置为端点。

aws-session-token

当使用 Amazon S3 作为对象存储时，请将其设置为会话令牌。当使用联合登录或 SSO 并通过 UI 获取凭据时，这非常方便。

aws-allow-http

允许与 AWS 建立未加密的 HTTP 连接。

aws-skip-signature

如果启用，S3 对象存储将不会获取凭据，也不会对请求进行签名。

Google Cloud Service

• google-service-account

google-service-account

当使用 Google Cloud Storage 作为对象存储时，请将其设置为包含 Google 凭据的 JSON 文件的路径。

Microsoft Azure

• azure-storage-account
• azure-storage-access-key

azure-storage-account

当使用 Microsoft Azure 作为对象存储时，请将其设置为导航到 所有服务 > 存储帐户 > [名称] 时看到的名称。

azure-storage-access-key

当使用 Microsoft Azure 作为对象存储时，请将其设置为存储帐户的 设置 > 访问密钥 中的密钥值之一。

对象存储

• bucket
• object-store-connection-limit
• object-store-http2-only
• object-store-http2-max-frame-size
• object-store-max-retries
• object-store-retry-timeout
• object-store-cache-endpoint

bucket

设置要使用的对象存储 bucket 的名称。还必须将 --object-store 设置为云对象存储，此选项才能生效。

object-store-connection-limit

当使用基于网络的对象存储时，将连接数限制为此值。

默认值： 16

object-store-http2-only

强制与基于网络的对象存储建立 HTTP/2 连接。

object-store-http2-max-frame-size

设置 HTTP/2 连接的最大帧大小（以字节/八位字节为单位）。

object-store-max-retries

定义重试请求的最大次数。

object-store-retry-timeout

指定从初始请求开始的最大时长，超过此时长后将不再尝试重试。

object-store-cache-endpoint

设置与 S3 兼容的、启用 HTTP/2 的对象存储缓存的端点。

日志

• log-filter
• log-destination
• log-format
• query-log-size

log-filter

设置日志的过滤器指令。

log-destination

指定日志的目标位置。

默认值： stdout

log-format

定义日志的消息格式。

此选项支持以下值

• full (默认)

默认值： full

query-log-size

定义查询日志的大小。最多有这么多查询保留在日志中，然后较旧的查询将被清除，为新查询腾出空间。

默认值： 1000

追踪

• traces-exporter
• traces-exporter-jaeger-agent-host
• traces-exporter-jaeger-agent-port
• traces-exporter-jaeger-service-name
• traces-exporter-jaeger-trace-context-header-name
• traces-jaeger-debug-name
• traces-jaeger-tags
• traces-jaeger-max-msgs-per-second

traces-exporter

设置追踪导出器的类型。

默认值： none

traces-exporter-jaeger-agent-host

指定 Jaeger 代理的网络主机名以进行追踪。

默认值： 0.0.0.0

traces-exporter-jaeger-agent-port

定义 Jaeger 代理的网络端口以进行追踪。

默认值： 6831

traces-exporter-jaeger-service-name

设置 Jaeger 服务名称以进行追踪。

默认值： iox-conductor

traces-exporter-jaeger-trace-context-header-name

指定用于传递追踪上下文的标头名称。

默认值： uber-trace-id

traces-jaeger-debug-name

指定用于强制采样的标头名称。

默认值： jaeger-debug-id

traces-jaeger-tags

定义一组 key=value 对，用于注释追踪 span。

traces-jaeger-max-msgs-per-second

指定每秒发送到 Jaeger 服务消息的最大数量。

默认值： 1000

DataFusion

• datafusion-num-threads
• datafusion-runtime-type
• datafusion-runtime-disable-lifo-slot
• datafusion-runtime-event-interval
• datafusion-runtime-global-queue-interval
• datafusion-runtime-max-blocking-threads
• datafusion-runtime-max-io-events-per-tick
• datafusion-runtime-thread-keep-alive
• datafusion-runtime-thread-priority
• datafusion-max-parquet-fanout
• datafusion-use-cached-parquet-loader
• datafusion-config

datafusion-num-threads

设置要使用的 DataFusion 运行时线程的最大数量。

datafusion-runtime-type

指定 DataFusion tokio 运行时类型。

此选项支持以下值

• current-thread
• multi-thread (默认)
• multi-thread-alt

默认值： multi-thread

datafusion-runtime-disable-lifo-slot

禁用 DataFusion 运行时的 LIFO 插槽。

此选项支持以下值

• true
• false

datafusion-runtime-event-interval

设置 DataFusion tokio 运行时的调度程序轮询外部事件（例如：定时器、I/O）的调度程序刻度数。

datafusion-runtime-global-queue-interval

设置 DataFusion 运行时的调度程序轮询全局任务队列的调度程序刻度数。

datafusion-runtime-max-blocking-threads

指定 DataFusion 运行时生成的其他线程的限制。

datafusion-runtime-max-io-events-per-tick

配置 tokio DataFusion 运行时每个刻度处理的最大事件数。

datafusion-runtime-thread-keep-alive

为 tokio DataFusion 运行时的阻塞池中的线程设置自定义超时。

datafusion-runtime-thread-priority

为 tokio DataFusion 运行时工作线程设置线程优先级。

默认值： 10

datafusion-max-parquet-fanout

当需要以排序方式排列多个 parquet 文件时（例如，去重），指定最大扇出。

默认值： 1000

datafusion-use-cached-parquet-loader

从对象存储读取 parquet 文件时，使用缓存的 parquet 加载器。

datafusion-config

以逗号分隔的 key:value 对列表形式为 DataFusion 提供自定义配置。

HTTP

• max-http-request-size
• http-bind
• bearer-token

max-http-request-size

指定 HTTP 请求的最大大小。

默认值： 10485760

http-bind

定义 InfluxDB 提供 HTTP API 请求的地址。

默认值： 0.0.0.0:8181

bearer-token

指定要为请求设置的 bearer token。

内存

• ram-pool-data-bytes
• exec-mem-pool-bytes
• buffer-mem-limit-mb
• force-snapshot-mem-threshold

ram-pool-data-bytes

指定用于存储数据的 RAM 缓存的大小（以字节为单位）。

默认值： 1073741824

exec-mem-pool-bytes

指定查询执行期间使用的内存池的大小（以字节为单位）。

默认值： 8589934592

buffer-mem-limit-mb

指定缓冲数据的大小限制（MB）。如果超过此限制，服务器将强制执行快照。

默认值： 5000

force-snapshot-mem-threshold

指定内部内存缓冲区的阈值。支持百分比（可用内存的一部分）或绝对值（总字节数）——例如：70% 或 100000。

默认值： 70%

预写式日志 (WAL)

• wal-flush-interval
• wal-snapshot-size
• wal-max-write-buffer-size
• snapshotted-wal-files-to-keep

wal-flush-interval

指定将缓冲数据刷新到 WAL 文件的时间间隔。等待 WAL 确认的写入最多需要此时间间隔才能完成。

默认值： 1s

wal-snapshot-size

定义快照中尝试删除的 WAL 文件数。这乘以时间间隔，决定了快照的频率。

默认值： 600

wal-max-write-buffer-size

指定在必须执行刷新并成功之前可以缓冲的最大写入请求数。

默认值： 100000

snapshotted-wal-files-to-keep

指定要在对象存储中保留的快照 WAL 文件数。刷新 WAL 文件不会立即清除 WAL 文件；当快照 WAL 文件的数量超过此数量时，它们将被删除。

默认值： 300

压缩

gen1-duration

指定 Parquet 文件排列的时间段。数据时间戳将每行数据放入此时间段的文件中。支持的时间段为 1m、5m 和 10m。这些文件被称为“第一代”文件，InfluxDB 3 Enterprise 中的压缩器可以将它们合并为更大的代。

默认值： 10m

缓存

• preemptive-cache-age
• parquet-mem-cache-size-mb
• parquet-mem-cache-prune-percentage
• parquet-mem-cache-prune-interval
• disable-parquet-mem-cache
• last-cache-eviction-interval
• distinct-cache-eviction-interval

preemptive-cache-age

指定在压缩期间预取到 Parquet 缓存的时间间隔。

默认值： 3d

parquet-mem-cache-size-mb

定义内存中 Parquet 缓存的大小（以兆字节 (MB) 为单位）。

默认值： 1000

parquet-mem-cache-prune-percentage

指定在内存中 Parquet 缓存上进行修剪操作期间要修剪的条目百分比。

默认值： 0.1

parquet-mem-cache-prune-interval

设置检查内存中 Parquet 缓存是否需要修剪的时间间隔。

默认值： 1s

disable-parquet-mem-cache

禁用内存中 Parquet 缓存。默认情况下，缓存已启用。

last-cache-eviction-interval

指定从 Last-N-Value 缓存中逐出过期条目的时间间隔，以人类可读的时间表示——例如：20s、1m、1h。

默认值： 10s

distinct-cache-eviction-interval

指定从 distinct value 缓存中逐出过期条目的时间间隔，以人类可读的时间表示——例如：20s、1m、1h。

默认值： 10s

处理引擎

• plugin-dir
• virtual-env-location
• package-manager

plugin-dir

指定包含 Python 插件及其测试文件的本地目录。

virtual-env-location

指定处理引擎使用的 Python 虚拟环境的位置。

package-manager

指定处理引擎使用的 Python 包管理器。

默认值： 10s