#目的

Send OpenLineage Events アクションは、OpenLineage コンシューマーを介して接続された外部の系譜ソリューションに、Data Platform プロジェクトからのデータ系譜イベントを転送します。このアクションは、プラットフォームで記録された系譜イベントを読み取り、OpenLineage 標準を使用して、あなたの系譜バックエンドにプッシュします。

#必要条件

1. OpenLineage 互換の HTTP API を持つ外部の系譜ソリューションがあります（例: Marquez）。
2. OpenLineage コンシューマーを、系譜バックエンドのエンドポイント URL と認証トークンを使用して設定しています。

#Send OpenLineage Events アクションの作成

1. Data Processing Engine の Actions タブに移動します。
2. New action をクリックします。
3. アクションストアから Send OpenLineage Events を選択します。

このアクションは、追加の設定が必要ありません。自動的に OpenLineage Consumer 設定からエンドポイントと認証トークンを読み取り、それらを使用してイベントを転送します。

#操作方法

アクションがトリガーされると、DWH Bucket の queued/ フォルダに保存されたすべてのイベントを処理し、設定された OpenLineage エンドポイントに送信します。

#ファイルの処理

• 送信成功:

  • OpenLineage Consumerで keep events が true に設定されている場合、送信に成功したファイルは DWH Bucket の success/ フォルダに移動されます。
  • さらに、openlineage/events/success/log/ の下に要約ログファイルが作成されます。

• エラー:
  失敗した場合、イベントは error/ フォルダに移動され、error/logs/ の下にエラーについての詳細なログファイルが生成されます。

#実行モード

Send OpenLineage Events アクションは、系譜ソリューションを更新する頻度に応じて、2つの方法で実行できます。

#Cron ジョブ

cron 表現を使用して、固定間隔でアクションを実行するようにスケジュールします。これは、ほぼリアルタイムの系譜が必要ないほとんどのユースケースに推奨されるモードです。

cron スケジュールを設定するには、アクションの Settings タブを開き、トリガーを Cron に設定します。希望する cron 表現を入力します（例: 0 * * * * は毎時）。

#Always-up

アクションを継続的に実行する長時間実行プロセスとして設定します。このモードでは、アクションはアクティブな状態を維持し、イベントが生成されるとすぐに系譜イベントを転送し、Data Platform と系譜ソリューションをほぼリアルタイムで同期させます。

Always-up モードを有効にするには、アクションの Settings タブを開き、トリガーを Always up に設定します。

#さらに詳しく

ソリューションの実装に関するトレーニングや技術サポートが必要な場合は、営業担当者にお問い合わせください、またはProfessional Servicesページにアクセスして、見積もりを依頼し、専門家がプロジェクトを分析するようにしてください。

Data Platform を構築するチームと直接質問したり、フィードバックを送信したり、交流したりするには、専用のDiscord チャネルをご利用ください。

OVHcloud サービスについてサポートが必要な場合は、Help Centreでリクエストを作成してください。

コミュニティのユーザーに参加してください。