写入到 Google BigQuery

要使用 Flux 将数据写入到 Google BigQuery

1. 导入 sql 包。

2. 将数据管道传输到 sql.to() 中，并提供以下参数

   • driverName: bigquery
   • dataSourceName: 请参阅 数据源名称
   • table: 要写入的表
   • batchSize: 每次调用 Exec 时可以排队的参数或列的数量 (默认为 10000)

import "sql"

data
    |> sql.to(
        driverName: "bigquery",
        dataSourceName: "bigquery://projectid/?apiKey=mySuP3r5ecR3tAP1K3y",
        table: "exampleTable",
    )

BigQuery 数据源名称

bigquery 驱动程序使用以下 DSN 语法 (也称为 连接字符串)

bigquery://projectid/?param1=value&param2=value
bigquery://projectid/location?param1=value&param2=value

常用的 BigQuery URL 参数

• dataset - BigQuery 数据集 ID。设置后，您可以在查询中使用非限定表名。

BigQuery 身份验证参数

Flux BigQuery 实现使用 Google Cloud Go SDK。使用以下方法之一提供您的身份验证凭据

• 设置 GOOGLE_APPLICATION_CREDENTIALS 环境变量以标识您的凭据 JSON 文件的位置。

• 使用 BigQuery DSN 中的 credentials URL 参数提供您的 base-64 编码的服务帐户、刷新令牌或 JSON 凭据。

  凭据 URL 参数示例

  bigquery://projectid/?credentials=eyJ0eXBlIjoiYXV0...
  

Flux 到 BigQuery 数据类型转换

sql.to() 将 Flux 数据类型转换为 BigQuery 数据类型。