Data Processing Engine のアクション
21種類のアクションタイプ、それぞれが1つのJSONドキュメントです。
アクションとは?
アクションは、Data Processing Engineにおける1つの作業単位です。どこかから読み取り、何かを行い、どこかに書き込みます。約20種類のアクションタイプが一般的なケースをカバーしており、登録済みのソースをLakehouseテーブルに読み込むことから、任意のPythonまたはPySparkを実行するまで様々です。
アクションは、その機能によってグループ化されます。読み込みはデータを取り込みます:Load、Load PySpark、Load to Bucket、File Transfer、CSV to PostgreSQL。変換はプロジェクト内に保持されているデータを再構成します:Aggregate、Aggregate PySpark、SQL、Custom、Custom PySpark、Diff。エクスポートはデータを再度送り出します:Export Table to Source、MySQL to Parquet、PostgreSQL to CSV、PostgreSQL to Parquet。ハウスキーピングはプロジェクトを整理します:Delete、Delete Diff、Delete Bucket、Rebuild、メンテナンスアクション、Send OpenLineage Events。
各アクションはJSONドキュメントによって構成されます。グラフィカルエディタはそのドキュメントを作成しますが、アドバンスモードでは直接編集できます。これはUIに対応するフィールドがない場所です。Load、Aggregate、およびWorkflowsはそれぞれのJSONを個別にドキュメント化します。
アクションはリポジトリに保持され、リポジトリがバージョン管理の対象となります。これはプラットフォーム自体のバージョン管理を通じて行われるか、リポジトリをGitと同期させることで行われます。アクションは常にjob内で実行され、アクション、そのワークフロー、または共有環境に設定された設定とリソースの下で実行されます。
アクションの作成、リポジトリのバージョン管理、およびGitとの同期は、Create and manage actionsで一緒に説明されています。
アクションの作成と管理→
1つ作成し、リポジトリをバージョン管理し、Gitと同期させ、再構築をトリガーするものを理解する。
ロード→
ソースからLakehouse Managerテーブルにデータを抽出、マッピング、ロードする。
PySparkをロード→
大規模なデータセット向けに、PySparkで分散ロードする。
バケットへのロード→
生データをオブジェクトストレージバケットに直接ロードする。
ファイル転送→
バケット間でファイルをコピーするか、ソースからバケットにコピーし、パス構造を保持する。
CSV to PostgreSQL→
任意のソースからCSVファイルを既存のPostgreSQLテーブルに取り込む。
集約→
テーブルを読み込み、変換を適用し、結果を別のテーブルに書き込む。
PySparkでの集約→
Lakehouse Managerテーブル間の分散集約。
SQL→
Trino上のデータセットとテーブルに対してSQLを実行し、DMLとDDLを含める。
カスタム→
ETLまたは検証ロジック用に独自のPythonを実行する。
カスタムPySpark→
Sparkクラスター上で独自のPySparkコードを実行する。
Diff→
データセット間の変更ログを時間をかけて構築する。
テーブルをソースにエクスポート→
テーブルを互換性のある外部ソースに押し出す。
MySQL to Parquet→
MySQLテーブルをバケットにParquetファイルとして転送する。
PostgreSQL to CSV→
PostgreSQLテーブルをバケットにCSVファイルとして転送する。
PostgreSQL to Parquet→
PostgreSQLから抽出し、結果をParquetとして保存する。
削除→
テーブルなどのオブジェクトを完全に削除する。
Diffの削除→
差分比較で存在しなくなった行を削除する。
バケットの削除→
バケットからファイル、フォルダ、または全内容を削除する。
再構築→
制約を変更し、再パーティション化し、メタデータをクリーンアップするためにテーブルを再構築する。
メンテナンスアクション→
プロジェクトのメタデータを更新し、コンポーネントのキャッシュをフラッシュします。
OpenLineage イベントを送信→
OpenLineage バックエンドにラインナージイベントを転送
さらに詳しく
トレーニングや技術的なサポートが必要な場合は、営業担当者にお問い合わせください、またはProfessional Servicesページをご覧ください。見積もりをリクエストし、専門家によりプロジェクトを分析していただくことができます。
Data Platformを構築するチームと直接質問したり、フィードバックを送ったり、交流したりするには、専用のDiscordチャンネルをご利用ください。
OVHcloudサービスに関するサポートが必要な場合は、Help Centreでリクエストを作成してください。
ユーザーコミュニティに参加してください。

