OpenLineageを使用して外部ツールにラインナンスイベントを転送する
OpenLineageコンサマーを使用すると、Data Platformプロジェクトで生成されたデータラインナンスイベントを選択した外部ラインナンスソリューションに転送できます
目的
OpenLineageコンサマーを使用すると、Data Platformプロジェクトで生成されたデータラインナンスイベントを選択した外部ラインナンスソリューションに転送できます。接続後、プラットフォームは継続的にOpenLineage-準拠イベントをラインナンスバックエンドにストリーミングし、そこでデータラインナンスグラフを可視化および探索できます。
互換性の注意: 現在、Marquezは、Data PlatformのOpenLineageイベントと信頼性の高く動作する唯一のラインナンスソリューションです。他のOpenLineage互換ツールはイベントを受信できますが、劣化した体験を提供する可能性があります。最適な結果を得るために、Marquezを使用することをお勧めします。
互換性のあるラインナンスソリューション
次のラインナンスソリューションは、Data Platformと動作することを検証済みです。
OpenLineage HTTP APIエンドポイントを公開するツールは技術的には使用できますが、現在、Marquezのみが公式にサポートされています。
OpenLineageコンサマーの設定
まだ行っていない場合は、Connectorsで新しいOpenLineageコンサマーを追加します。それ以外の場合は、編集します。
次の値を提供する必要があります。
ラインナンスコンサマーを設定すると、すべてのラインナンスイベントはLakehouse Managerバケット DWHの下にopenlineage/events/queuedに保存されます。Send OpenLineage Events DPEアクションが実行されるたびに、イベントがラインナンスソリューションに転送されます。
DPEからラインナンスイベントを送信する
ラインナンスイベントは、Data Processing EngineのSend OpenLineage Eventsアクションによって転送されます。これを実行するように設定できます。
- クロンジョブとして: 固定スケジュールで (例: 毎時、毎夜)
- 常時実行アクションとして: 近実時間でラインナンスソリューションを同期させるために継続的に
設定の詳細については、Send OpenLineage Eventsドキュメントを参照してください。
カスタムアクションの場合、ラインナンスの追跡はオプトインです。独自のPythonコードからラインナンスイベントを発行する方法については、Track data lineage in a Custom actionを参照してください。
さらに詳しく
トレーニングや技術的なアシスタンスが必要な場合は、営業担当者にお問い合わせください、またはこのリンクをクリックして、プロフェッショナルサービスの専門家にプロジェクトのカスタム分析を依頼し、見積もりを取得してください。
Data Platformを構築するチームと直接質問をし、フィードバックを提供し、相互作用するには、専用のDiscordチャネルにアクセスしてください。
OVHcloudサービスについてサポートが必要な場合は、ヘルプセンターでリクエストを作成してください。
コミュニティのユーザーに参加してください。