#目的

Send OpenLineage Events アクションは、Data Platform プロジェクトから外部の系譜ソリューションにデータ系譜イベントを転送します。このアクションは、OpenLineage コンシューマーに接続された外部の系譜ソリューションにイベントを送信します。プラットフォームで記録された系譜イベントを読み取り、OpenLineage 標準を使用して、それらを OpenLineage コンシューマーを介して接続された外部の系譜ソリューションに送信します。

#要件

1. OpenLineage 互換の HTTP API を持つ外部の系譜ソリューションがあります（例: Marquez）。
2. OpenLineage コンシューマー を、系譜バックエンドのエンドポイント URL と認証トークンを使用して設定しました。

#Send OpenLineage Events アクションの作成

1. Data Processing Engine で Actions タブに移動します。
2. New action をクリックします。
3. アクションストアから Send OpenLineage Events を選択します。

このアクションは、追加の設定が必要ありません。自動的に OpenLineage Consumer 設定からエンドポイントと認証トークンを読み取り、それらを使用してイベントを転送します。

#操作方法

アクションがトリガーされると、DWH Bucket の queued/ フォルダーに保存されたすべてのイベントを処理し、設定された OpenLineage エンドポイントに送信します。

#ファイルの処理

• 送信成功:

  • OpenLineage Consumer で keep events が true に設定されている場合、送信に成功したファイルは DWH Bucket の success/ フォルダーに移動されます。
  • さらに、openlineage/events/success/log/ の下に要約ログファイルが作成されます。

• エラー:
  失敗した場合、イベントは error/ フォルダーに移動され、error/logs/ の下にエラーについての詳細なログファイルが生成されます。

#実行モード

Send OpenLineage Events アクションを実行する方法は、系譜ソリューションを更新する頻度に応じて2つあります。

#Cron ジョブ

cron 表現を使用して、アクションを固定間隔で実行するようにスケジュールします。これは、ほとんどのユースケースで、近実時間の系譜が必要ない場合に推奨されるモードです。

cron スケジュールを設定するには、アクションの Settings タブを開き、トリガーを Cron に設定します。希望する cron 表現を入力します（例: 0 * * * * は毎時間）。

#常時アップ

アクションを継続的に実行するように設定し、長時間実行されるプロセスとして動作させます。このモードでは、アクションはアクティブな状態を保ち、イベントが生成されるとすぐに系譜イベントを転送し、Data Platform と系譜ソリューションを近実時間で同期させます。

常時アップモードを有効にするには、アクションの Settings タブを開き、トリガーを Always up に設定します。

#さらに詳しく

ソリューションの実装に関するトレーニングや技術サポートが必要な場合は、営業担当者にお問い合わせください、またはこのリンクをクリックして、プロフェッショナルサービスの専門家にプロジェクトのカスタム分析を依頼してください。

Data Platform を構築するチームと直接やり取りし、質問をしたり、フィードバックを送信したり、Discord の専用チャネルに参加してください。

OVHcloud サービスについてサポートが必要な場合は、Help Centreでリクエストを作成してください。

ユーザーコミュニティに参加してください。