Load アクションの高度なモード

Load アクションの JSON 構成を直接カスタマイズし、Aggregate と異なるオプション

目的

全体のスキーマは Aggregate アクションと非常に似ていますが、特定のオプションについては制限があります。Load アクションは、データを生データソースから Data Platform に読み込むために設計されており、Aggregate アクションは Data Platform データウェアハウス内のテーブルに対する操作を実行するために設計されています。

広い意味で、Load アクションは Aggregate アクションの簡易版であり、データを読み込むための簡単な方法を提供することを目的としています。Aggregate アクションの完全なドキュメントについては、Aggregate アクションの高度なドキュメントを参照してください。

Load アクションの JSON 構成ファイルは、必須の高レベルオブジェクトで構成されています。これは次のものを含みます。

Sources：データを読み込むために使用するソーステーブルを定義します。
Schema：目的地テーブルとソーステーブルの間の個別のマッピングを定義します。
Destination：Load アクションからの出力データを読み込むテーブルを定義します。

その他のオプションパラメータも追加できます。これは特定のセクション その他のオプションパラメータでカバーします。例えば、セグメンテーション、パーシモン、変換ルールなどが含まれます。

ソース

形式：JSON は、ソースを指す文字列値とオプションの追加パラメータを含みます。ソースパスは次のようになります：dwh/database_name/table_name、ここで database_name はソースの場所の名前（ソースまたは Lakehouse Manager からのもの）で、table_name はソースオブジェクトまたは Lakehouse Manager のスキーマのオブジェクトの名前です。

JSON キー：params.load_from[0].source または params.load_from.source

例：

"load_from" : [
    {
        "source" : "dwh/default_dataset/prim_calendar",
        "force_utf8" : true
    }
]

load_from" : {
        "source" : "dwh/default_dataset/prim_calendar",
        "force_utf8" : true
}

Tip

SQL のようなソースの場合：テーブルにエイリアスを追加するには、テーブル名の後にスペースを追加し、テーブルのエイリアスの文字を追加します。例えば：「source": "dwh/mysql_source/lifetime_insights fb_i"。これにより、lifetime_insights テーブルが fb_i にエイリアス化されます。したがって、このエイリアスをジョインとスキーマで再利用できます。

スキーマ

スキーマは、ソースに存在するフィールドの名前を、目的地でこれらのフィールドが持つ必要がある名前にリネームすることを決定します。

形式：スキーマオブジェクトには、各キーが目的地の属性の名前であり、値には属性に関連付けられたパラメータが含まれる JSON オブジェクトのシリーズが含まれます。

JSON キー：params.schema

例：

{
"schema": {
    "month": {
      "table": "ref_month",
      "operation": "SELECT",
      "type": "default",
      "attribute": "month"
    },
    "vegetables": {
      "type": "sql",
      "sql": "CONCAT(\"HELLO : \", prim_calendar.vegetables)"
    },
    "season": {
      "type": "replace",
      "value": "summer"
    }
}

schema.keys() 目的地の属性
type 各属性のマッピングモード

3種類のマッピングがあります。

type:default：変換なしで属性を別の属性にマッピングします。
- table 属性の元のソースオブジェクト
- attribute マッピング元のソース属性
- operation SQL 操作セクションで言及された SQL 操作タイプを表します。（SQL のようなソースのみ）
type:replace：すべての目的地行にハードコードされた値を入力します。
- value：この属性は、挿入/更新されるすべての目的地行について、値で埋められます。
type:"sql"：次の SQL 式が適用されます。（SQL のようなソースのみ）
- sql 値は SQL ステートメントです。

目的地

目的地は、アクションデータが注入される場所を表します。

形式：そのパスは次のようになります：dwh/database_name/table_name。ここで database_name は目的地データベースの名前（通常は default_dataset）で、table_name は Lakehouse Manager スキーマの目的地テーブルの名前です。

JSON キー：params.load_to[source]

例：

"load_to": {
    "source": "dwh/default_dataset/tmp_calendar",
    "force_utf8": true
  }

一度に複数の目的地を埋めることができます。

"load_to": [
    {"source": "dwh/default_dataset/prim_facebook"},
    {"source": "dwh/default_dataset/tmp_facebook"},
  ]

その他のオプションパラメータ

Extract_chunk_size

extract_chunk_size は、一度にデータを抽出する際の最大許容サイズを表す整数値です。

JSON キー: params.load_from[0].extract_chunk_size

例:

{
  "params": {
    "load_from": [ { "extract_chunk_size": 5000 , ... } ]
  }
}

これにより、ワーカーは5000行のバッチでデータを抽出できます。

Load_batch_size

load_batch_size は、一度にデータベースにデータを読み込む際の最大許容サイズを表す整数値です。

JSON キー: params.load_batch_size

例:

"load_batch_size": 5000

これにより、ワーカーは5000行のバッチでデータを読み込むことができます。

Source_rules

source_rules は、シンプルなデータ準備のためのルールを表します。この設定は、DWHから同期された既存のルールを上書きします。これらはソースの属性に適用されます。例えば、属性 date_source に変換ルールを適用したいと仮定しましょう。

形式: JSONオブジェクトのリストで、各オブジェクトは属性に適用されるルールを表します。

JSON キー: load_from.source_rules

例:

  "source_rules": [
  {
    "action": "date_replace",
    "action_values": [
    "%d/%m/%Y %H:%i:%s",
    "%Y-%m-%d %H:%M:%S"
    ],
    "attribute_name": "date_source",
    "name": "correct date format"
  }
]

詳細な設定ドキュメントについては、blueprint rules の記事を参照してください。

Rules

Rules は source_rules と同様ですが、抽出属性ではなく、宛先属性に適用されます。これにより、同じソース属性に対して異なる宛先属性をマッピングし、異なるルールを割り当てることができます。

形式: JSONオブジェクトのリストで、各オブジェクトは属性に適用されるルールを表します。

JSON キー: rules

例:

"rules": [
  {
    "action": "date_replace",
    "action_values": [
    "%d/%m/%Y %H:%i:%s",
    "%Y-%m-%d %H:%M:%S"
    ],
    "attribute_name": "date_dest",
    "name": "correct date format"
  }
]

JSON/XMLのセミ構造化マッピングの処理

セミ構造化データのマッピングを処理するには、データを正規化するためにループするノードを指定する必要があります。

例えば、ソースが次のようになっている場合:

{
	"data": [
	  { "id":1,"name":"marco" },
	  { "id":2,"name":"polo" },
	]
}

ロード設定の "params" セクションに次のように追加する必要があります:

{
  "params":{
     "dataXPATH":"data",
     ...
  }
}