For AI agents: the complete documentation index is available at https://docs.dataplatform.ovh.net/ja/llms.txt, the full documentation bundle is available at https://docs.dataplatform.ovh.net/ja/llms-full.txt, and this page is available as Markdown at https://docs.dataplatform.ovh.net/ja/lakehouse-manager-lineage.md.
  • 🇯🇵 日本語
  • プロジェクト内のデータフローをLineageで追跡する

    Lineageは、LoadおよびAggregateアクション(PythonおよびPySpark)については自動的に記録され、CustomアクションおよびノートブックについてはSDKを通じてオプトイン方式です

    目的

    Lineage は、プロジェクト内のデータの流れを視覚的にマッピングするための組み込みツールです。どのジョブが各 テーブル にデータを供給し、そのテーブルがどのようなテーブルを生成するか、そしてソースから目的地までのすべての接続をどのように行うかを示します。このグラフは、ジョブが実行される際にプロジェクトが記録する OpenLineage イベントから構築され、インストールや設定は必要ありません。

    Lineageは、自動的に LoadおよびAggregateアクション(PythonおよびPySpark)について記録され、オプトイン方式 でCustomアクションおよびノートブックについてSDKを通じて記録されます。Trinoクエリ(Explorer、Analytics Manager)のLineageは間もなく利用可能になります。下記でLineageイベントを生成するものを確認してください。

    Lineage概要

    Lineageビューを開く

    テーブルのLineageにアクセスする方法は2つあります:

    • Lakehouse Manager の Lineage セクションから:ページは 検索バー で開き、プロジェクト内のすべてのテーブルを検索できます。Lineageを確認したいテーブルの名前を入力して選択し、そのグラフを表示します。
    • テーブルの詳細ビュー から:そのテーブルが既に表示されているLineageページにジャンプするために Lineage ボタンをクリックします。
    Lineageビューを開く — Lineage検索

    グラフを探索する

    グラフは、選択したテーブルから始まります:中央ノード としてマークされ、青いアウトラインで囲まれています。これにより、グラフの開始位置を常に把握できます。周囲には、そのテーブルに接続するテーブルとジョブが表示されます:アップストリーム のジョブとテーブル(そのテーブルを構築するためのジョブとテーブル)と、ダウンストリーム のすべてのもの(そのテーブルから構築されたもの)。

    グラフは2種類のノードで構成されています:テーブルノード はその列をリスト表示し、ジョブノード はテーブルを読み書きすることでテーブルを結びつける実行です。

    Info

    グラフは空になることはありません:Lineageがまだ記録されていないテーブルは、接続なしで単独で表示されます。Lineageはジョブ実行が完了するとすぐに表示されますので、新しい実行はすぐに表示されます。

    グラフを探索する — Lineage概要

    テーブルノード

    テーブルノードをクリックすると、テーブルの詳細を確認できます:データセット、列、生成ジョブ(書き込み) 、および 消費ジョブ(読み込み) です。

    他のテーブルノードをクリックすると、その詳細が表示されますが、グラフは再中央に配置されません:異なるテーブルから始めるには、Lineage 検索バーから選択してください。

    テーブルノード — Lineageテーブルノード

    ジョブノード

    ジョブノードをクリックすると、接続の背後にある実行を確認できます:

    詳細意味
    ジョブ名Lineageイベントを生成したジョブの名前
    種類DPE(アクション実行)、Lakehouse(テーブルが構築される際の自動読み込み)、または SDK(独自のコードから発行されたカスタム追跡)
    アクションタイプLoad、Aggregate、または Custom
    最終実行 と 状態ジョブが最後に実行された時刻と終了方法
    入力テーブル と 出力テーブルジョブが読み込んだものと書き込んだもの

    DPE および Lakehouse ジョブについては、詳細の下部にある直接リンクでジョブ自体を開くことができます。SDK ジョブにはリンクがありません。これは、SDKヘルパーを通じて自分で発行したLineageであるためです。

    ジョブノード — Lineageジョブノード

    グラフコントロール

    右上のコントロールは、グラフに表示する内容を調整します:

    • フルグラフ トグル:表示されている生産者と消費者の上に、兄弟テーブル も表示します。
    • コンパクトノード トグル:列なしのノードの最小限のビュー。
    • 拡大、縮小、および 画面に合わせる。
    • 深さ:グラフが表示するアップストリームとダウンストリームのレベル数、1 から 10(デフォルト:2);流れをさらに追跡するには増やしてください。

    カラムレベルのLineage

    テーブル間のフローに加え、Lineageは列 がテーブル間でどのように接続されるかも追跡します:特定の列については、どのアップストリーム列から計算され、どのダウンストリーム列がその列から計算されるかです。

    グラフ内のテーブルノードの列をクリックするか、テーブルの詳細内の列をクリックして、そのカラムLineageに切り替えます。Lineageが利用可能な場合、グラフは列をテーブル間で接続して、その関係を示します。独自のLineageを持たない列は、青いアウトラインで囲まれて独立していることを示します。

    カラムレベルのLineage — Lineage列
    Info

    コンパクトノード が有効な場合、カラムレベルのLineageは利用できません:列をクリックするには、トグルをオフにしてください。

    Lineageイベントを生成するもの

    ソースLineage
    Load および Aggregate アクション(PythonおよびPySpark)自動的に、カラムレベルの詳細付き
    Custom アクション(PythonおよびPySpark)オプトイン:SDK Lineageヘルパーを使用してコードからイベントを発行
    ノートブック(PythonおよびPySpark)オプトイン、同じSDK Lineageヘルパーを使用
    Trinoクエリ(Explorer、Analytics Manager間もなく利用可能

    独自のLineageツールを使用する

    同じOpenLineageイベントをMarquezのような外部Lineageソリューションに転送できます。OpenLineageコンサマーを設定し、OpenLineageイベントを送信アクションをスケジュールして、それらをバックエンドにストリーミングします。

    さらに深く学ぶ

    トレーニングや技術的なサポートが必要な場合は、営業担当者に連絡するか、プロフェッショナルサービスページを訪れて、見積もりを依頼し、専門家がプロジェクトを分析するようにしてください。

    質問をする、フィードバックを提供し、Data Platformを構築するチームと直接交流するには、専用のDiscordチャネルを利用してください。

    OVHcloudサービスについてサポートが必要な場合は、ヘルプセンターでリクエストを作成してください。

    ユーザーコミュニティに参加してください。