プロジェクト内のデータフローをLineageで追跡する
Lineageは、LoadおよびAggregateアクション(PythonおよびPySpark)については自動的に記録され、CustomアクションおよびノートブックについてはSDKを通じてオプトイン方式です
目的
Lineage は、プロジェクト内のデータの流れを視覚的にマッピングするための組み込みツールです。どのジョブが各 テーブル にデータを供給し、そのテーブルがどのようなテーブルを生成するか、そしてソースから目的地までのすべての接続をどのように行うかを示します。このグラフは、ジョブが実行される際にプロジェクトが記録する OpenLineage イベントから構築され、インストールや設定は必要ありません。
Lineageは、自動的に LoadおよびAggregateアクション(PythonおよびPySpark)について記録され、オプトイン方式 でCustomアクションおよびノートブックについてSDKを通じて記録されます。Trinoクエリ(Explorer、Analytics Manager)のLineageは間もなく利用可能になります。下記でLineageイベントを生成するものを確認してください。
Lineageビューを開く
テーブルのLineageにアクセスする方法は2つあります:
- Lakehouse Manager の Lineage セクションから:ページは 検索バー で開き、プロジェクト内のすべてのテーブルを検索できます。Lineageを確認したいテーブルの名前を入力して選択し、そのグラフを表示します。
- テーブルの詳細ビュー から:そのテーブルが既に表示されているLineageページにジャンプするために Lineage ボタンをクリックします。
グラフを探索する
グラフは、選択したテーブルから始まります:中央ノード としてマークされ、青いアウトラインで囲まれています。これにより、グラフの開始位置を常に把握できます。周囲には、そのテーブルに接続するテーブルとジョブが表示されます:アップストリーム のジョブとテーブル(そのテーブルを構築するためのジョブとテーブル)と、ダウンストリーム のすべてのもの(そのテーブルから構築されたもの)。
グラフは2種類のノードで構成されています:テーブルノード はその列をリスト表示し、ジョブノード はテーブルを読み書きすることでテーブルを結びつける実行です。
グラフは空になることはありません:Lineageがまだ記録されていないテーブルは、接続なしで単独で表示されます。Lineageはジョブ実行が完了するとすぐに表示されますので、新しい実行はすぐに表示されます。
テーブルノード
テーブルノードをクリックすると、テーブルの詳細を確認できます:データセット、列、生成ジョブ(書き込み) 、および 消費ジョブ(読み込み) です。
他のテーブルノードをクリックすると、その詳細が表示されますが、グラフは再中央に配置されません:異なるテーブルから始めるには、Lineage 検索バーから選択してください。
ジョブノード
ジョブノードをクリックすると、接続の背後にある実行を確認できます:
DPE および Lakehouse ジョブについては、詳細の下部にある直接リンクでジョブ自体を開くことができます。SDK ジョブにはリンクがありません。これは、SDKヘルパーを通じて自分で発行したLineageであるためです。
グラフコントロール
右上のコントロールは、グラフに表示する内容を調整します:
- フルグラフ トグル:表示されている生産者と消費者の上に、兄弟テーブル も表示します。
- コンパクトノード トグル:列なしのノードの最小限のビュー。
- 拡大、縮小、および 画面に合わせる。
- 深さ:グラフが表示するアップストリームとダウンストリームのレベル数、1 から 10(デフォルト:2);流れをさらに追跡するには増やしてください。
カラムレベルのLineage
テーブル間のフローに加え、Lineageは列 がテーブル間でどのように接続されるかも追跡します:特定の列については、どのアップストリーム列から計算され、どのダウンストリーム列がその列から計算されるかです。
グラフ内のテーブルノードの列をクリックするか、テーブルの詳細内の列をクリックして、そのカラムLineageに切り替えます。Lineageが利用可能な場合、グラフは列をテーブル間で接続して、その関係を示します。独自のLineageを持たない列は、青いアウトラインで囲まれて独立していることを示します。
コンパクトノード が有効な場合、カラムレベルのLineageは利用できません:列をクリックするには、トグルをオフにしてください。
Lineageイベントを生成するもの
独自のLineageツールを使用する
同じOpenLineageイベントをMarquezのような外部Lineageソリューションに転送できます。OpenLineageコンサマーを設定し、OpenLineageイベントを送信アクションをスケジュールして、それらをバックエンドにストリーミングします。
さらに深く学ぶ
トレーニングや技術的なサポートが必要な場合は、営業担当者に連絡するか、プロフェッショナルサービスページを訪れて、見積もりを依頼し、専門家がプロジェクトを分析するようにしてください。
質問をする、フィードバックを提供し、Data Platformを構築するチームと直接交流するには、専用のDiscordチャネルを利用してください。
OVHcloudサービスについてサポートが必要な場合は、ヘルプセンターでリクエストを作成してください。
ユーザーコミュニティに参加してください。

