データペリメーターを使用してジョブの実行をフィルタリングする#

#目的

データ処理ジョブを実行する際、処理するデータ量が大きい場合、アクションの実行をフィルタリングする必要がある場合があります。ペリメーターを使用すると、アクションで処理するデータの範囲をフィルタリングするためのフィールドを定義できます。

#1. プロジェクトテーブルの属性に基づく

Lakehouse Manager のテーブルの列にあるデータのリストに対してアクションをフィルタリングしたい場合、例えば:

リファレンステーブル	ソースターブル	宛先テーブル

ソースタブ「orders」の「income」属性のデータを、宛先テーブル「aggr_date」に「date_order」でグループ化して集計したい場合です。tmp_dateテーブルには、2019-01-01から2019-01-03までの集計する日付のリストが含まれています。

このペリメーターモードを有効にすると、自動的にプレステージが作成され、tmp_dateテーブルの属性dateに含まれるペリメーター値のリストを構成することを目的としています。そして、見つかったすべての値でアクションをフィルタリングします。

#互換性

このペリメーターオプションは、次のアクションとソースのみと互換性があります:

#構成

このペリメーターオプションを構成するには、「ペリメータータイプ」のドロップダウンで プロジェクトテーブルの属性に基づく を選択します。

高度なモードインターフェースを使用している場合は、アクションのJSON構成に次のフィールドを追加する必要があります:

"perimeter": {
  "active": true,
  "type": "dwh_attributes",
  "values": "dwh/default_dataset/tmp_dates/date",
  "var_name": "date_order",
  "attribute": "date",
  "attribute_type": "map"
}

#2. 事前定義された値のセットに基づく

このモードを使用すると、ソース/テーブル属性をフィルタリングするための値のリストを入力できます。

#互換性

このペリメーターオプションは、次のアクションとソースのみと互換性があります:

#構成

このペリメーターオプションを構成するには、「ペリメータータイプ」のドロップダウンで 事前定義されたセットに基づく を選択します。

高度なモードインターフェースを使用している場合は、アクションのJSON構成に次のフィールドを追加する必要があります:

"perimeter": {
        "active": true,
        "type": "predefined_set",
        "var_name": "value_2",
        "values": [
          "10",
          "15"
        ]
      }

#3. ワークフローの日付ペリメーターに基づく

ソースデータに日付属性がある場合、ワークフローで設定した日付に対してアクションの処理をフィルタリングできます。

#互換性

このペリメーターオプションは、次のアクションとソースのみと互換性があります:

#構成

このペリメーターオプションを構成するには、「ペリメータータイプ」のドロップダウンで ワークフローの日付ペリメーターに基づく を選択します。

このオプションを構成するには、高度なモードに切り替える必要があります。アクションのJSON構成に次のフィールドを追加するだけです:

"perimeter":{
	"active":true,
	"type":"workflow/dates",
	"var_name":"date"
}

DPEアクションのセグメンテーションとペリメーターオプションについてのさらに詳細な情報は、DPEアクション設定の追加リマーク記事でご確認ください。 セグメンテーションとペリメーター用語

#さらに詳しく

当社のソリューションのトレーニングや技術的な実装についての支援が必要な場合は、営業担当者にお問い合わせください、またはプロフェッショナルサービスページをご覧ください。見積もりをリクエストして、当社の専門家がプロジェクトを分析していただけます。

Data Platformを構築するチームと直接質問したり、フィードバックを送信したり、交流したりするには、専用のDiscordチャネルをご利用ください。

OVHcloudサービスについてのサポートが必要な場合は、ヘルプセンターでリクエストを作成してください。

ユーザーコミュニティに参加してください。