Data Processing Engine のアクション
21種類のアクションタイプ、それぞれ1つのJSONドキュメントです。
アクションとは?
アクションは、Data Processing Engineにおける1つの作業単位です。データをどこかから読み取り、何かを行い、どこかに書き込みます。約20種類のアクションタイプが一般的なケースをカバーしており、登録済みのソースをLakehouseテーブルに読み込むことから、任意のPythonまたはPySparkを実行するまで様々です。
アクションは、その機能によってグループ化されます。読み込みはデータを取り込みます:Load、Load PySpark、Load to Bucket、File Transfer、CSV to PostgreSQL。変換はプロジェクト内に既に保持されているデータを再構成します:Aggregate、Aggregate PySpark、SQL、Custom、Custom PySpark、Diff。エクスポートはデータを再び送り出します:Export Table to Source、MySQL to Parquet、PostgreSQL to CSV、PostgreSQL to Parquet。ハウスキーピングはプロジェクトを整理整頓します:Delete、Delete Diff、Delete Bucket、Rebuild、Maintenance actions、Send OpenLineage Events。
各アクションはJSONドキュメントによって構成されます。グラフィカルエディタはそのドキュメントを作成しますが、高度なモードでは直接編集できます。これはUIに相当するフィールドがない場所です。Load、Aggregate、およびWorkflowsは、それぞれのJSONを個別にドキュメント化します。
アクションはリポジトリに保持され、リポジトリがバージョン管理の対象となります。これはプラットフォーム自体のバージョン管理を通じて行われるか、リポジトリをGitと同期させることによって行われます。アクションは常にjob内で実行され、アクション、そのワークフロー、または共有environmentに設定された好みとリソースの下で実行されます。
アクションの作成、リポジトリのバージョン管理、およびGitとの同期は、Create and manage actionsで一緒に説明されています。
アクションの作成と管理→
リポジトリをバージョン管理し、Gitと同期させ、再構築をトリガーするものを理解する
ロード→
ソースからLakehouse Managerテーブルにデータを抽出、マッピング、ロードする
PySparkによるロード→
大規模なデータセット用にPySparkで分散ロード
バケットへのロード→
オブジェクトストレージバケットに直接生データをロード
ファイル転送→
バケット間、またはソースからバケットへのファイルコピー、パス構造を保持
CSVからPostgreSQLへ→
任意のソースから既存のPostgreSQLテーブルにCSVファイルを取り込む
集約→
テーブルを読み取り、変換を適用し、結果を別のテーブルに書き込む
PySparkによる集約→
Lakehouse Managerテーブル間の分散集約
SQL→
Trino上のデータセットとテーブルに対してSQLを実行、DMLおよびDDLを含む
カスタム→
ETLまたは検証ロジック用に独自のPythonを実行
PySparkによるカスタム→
Sparkクラスター上で独自のPySparkコードを実行
差分→
時間をかけてデータセット間で変更ログを構築
テーブルをソースにエクスポート→
互換性のある外部ソースにテーブルをプッシュ
MySQLからParquetへ→
MySQLテーブルをバケットにParquetファイルとして転送
PostgreSQLからCSVへ→
PostgreSQLテーブルをバケットにCSVファイルとして転送
PostgreSQLからParquetへ→
PostgreSQLから抽出し、結果をParquetとして保存
削除→
テーブルなどのオブジェクトを完全に削除
差分の削除→
差分比較で存在しなくなった行を削除
バケットの削除→
バケットからファイル、フォルダ、または全内容を削除
再構築→
制約を変更、再パーティション、メタデータをクリーンアップするためにテーブルを再構築
メンテナンスアクション→
プロジェクトのメタデータを更新し、コンポーネントのキャッシュをフラッシュします。
OpenLineage イベントを送信→
ラインナージイベントを外部のOpenLineageバックエンドに転送します。
さらに深く掘り下げる
当社のソリューションを実装するためのトレーニングや技術サポートが必要な場合は、営業担当者にお問い合わせください、またはこのリンクをクリックして、当社のプロフェッショナルサービスの専門家にカスタム分析を依頼し、見積もりを受け取ってください。
Data Platformを構築するチームと直接質問し、フィードバックを共有し、相互作用するには、専用のDiscordチャネルをご利用ください。
OVHcloudサービスについてサポートが必要な場合は、ヘルプセンターでリクエストを作成してください。
ユーザーコミュニティに参加してください。

