#目的

データセットは、テーブルの論理的なグループ化であり、テーブルがいくつかのデフォルトのパラメータを共有できるようにします。プラットフォームは、標準および外部データセットの両方をサポートして、テーブルを管理できます。

デフォルトでは、default_datasetという標準データセットが提供されます。この標準データセットは、Apache Icebergに基づくLakehouse Manager Engineを使用します。

#データセット

データセットは、ユーザーがテーブルのパラメータをグループ/データセットレベルで管理することを促進するために設計されています。リストビューからデータセットを編集、複製、削除できます。

#標準データセット

Lakehouse Managerは、標準データセットのデータ管理サービスであると同時に、ストレージエンジンの役割を兼ねています。このエンジンについてさらに詳しく知るには、データセットの作成時にdiscoverリンクをクリックしてください。

新しいデータセットを作成するには、新しいデータセットボタンをクリックし、次に標準データセットを選択します。必要なデータセットフィールドをすべて入力し、作成をクリックします。

#データの保存方法

Lakehouse Managerは、データの論理的な組織化と、実際のバイトが存在する場所を分離します。混同しやすい3つの概念があるため、それらを分けておく必要があります。

• データセット: テーブルをまとめる論理的なエンベロープ。データセット自体はデータを保存しません。
• テーブル: Apache Icebergに保存され、Lakehouse Managerによって管理される物理的なオブジェクト。
• バケット: Lakehouseとは独立した非構造化ファイル用のS3¹互換オブジェクトストレージ。バケットを参照してください。

したがって、データセットはバケットではありません: テーブルの論理的なグループ化です。

#データセットの管理

設定ページには、データセットについて知る必要があるすべての情報が表示されます。データセットの説明とタグを編集できます。また、データレジデンシポリシー（使用されているストレージエンジンとデータレジデンシの場所）を表示できます。

テーブルタブでは、データセットの一部である関連テーブルをすべて表示できます。このメニューからテーブルを編集できないことを覚えておくことが重要です。

ポリシータグメニューを使用すると、データセット全体のポリシータグを割り当てることができ、そのポリシータグはデータセットの一部であるすべてのテーブルにさらに適用されます。 利用可能なポリシータグから選択するか、ポリシータグをその場で作成することもできます。ポリシータグのバインドの手順別ガイドはこちらです。

#データの整理: メダリオンアプローチ

Data Platformは、Bronze / Silver / Gold（「メダリオン」）アーキテクチャを指定しません: 構成に合わせてLakehouseをモデル化できます。デフォルトでは、データセットが提供されます（default_dataset）。

ただし、データセットでメダリオンレイヤーを管理することは有効なパターンであり、プラットフォームの残りの部分と自然に連携します。典型的なパイプラインは次のようになります。

1. Bronze: Connectorsを介して取り込まれた生データ。
2. Silver: Data Processing Engineアクションによってクリーンアップ、検証、重複排除されます。
3. Gold: Data Processing Engineアクションによってエンリッチ、結合、集計され、Analytics ManagerまたはBIツールで消費する準備が整います。

各レイヤーはデータセットです。レイヤー間の変換は、ワークフローでオーケストレーションされたアクションです。

#クロスプロジェクト共有（ベータ）

デフォルトでは、Data Platformの各プロジェクトは完全に分離されています：他のプロジェクトのデータセットにアクセスする暗黙の方法はありません。クロスプロジェクト共有により、データセットの所有者は、ソースプロジェクトから、1つまたは複数の受信プロジェクトに対して、制御された方法でデータセットを公開できます。これにより、既存のセキュリティ境界を破ることなく、データセットを共有できます。

#共有が行うことと行わないこと

• 共有はデータセットレベルで行われ、同じ組織内のプロジェクト間で行われます。他の組織と共有することはできません。
• 共有されたデータセットは単一のもので、コピーではありません。読み取り、書き込み、ビルド、およびノートブックやカスタムアクションでの使用は、ソース側と受信側の両方で同じ基盤となるデータに適用されます。
• 現在、共有は完全なものです：受信プロジェクトに対してデータセット全体が公開されます。
• 関連のないプロジェクト間の分離は厳格に維持されます。

#権限と役割

共有はソースプロジェクトから管理されます。

• 共有されたデータセットは読み取りと書き込みで公開されます。
• データセットを共有するか、既存の共有を削除するには、LM & AM Editorの役割が必要です。

#データセットを共有する

1. ソースプロジェクトから、共有したいデータセットを開き、設定タブに移動します。
2. 共有設定を管理をクリックします。

3. 組織内の利用可能なプロジェクトのリストから1つまたは複数のプロジェクトを選択し、確認します。

4. データセットが共有されたことを確認するメールを受け取ります。

ソースプロジェクトは、データセットが共有された各プロジェクトの使用情報を表示するため、共有データを消費しているユーザーを追跡できます。

#受信プロジェクト

共有されたデータセットは、受信プロジェクトのLakehouse Managerのデータセットメニューに表示され、プロジェクトの独自のデータセットと並びます。共有アイコンとLakehouse Manager（共有）のタイプでマークされます。

共有されたデータセットを開くと、読み取り専用モードで詳細が表示されます：データセットの設定とテーブル構造はソースプロジェクトから管理されます。関連するテーブルは、プレビューアイコンをクリックしてプレビューできます。

共有されたデータセットは、ConnectorおよびTrinoでソースとして使用できます。したがって、受信プロジェクトのユーザーは、専用のデータセットと同様に、そのデータを使用できます。

#Explorer内

Explorer内で、データセットごとにリスト表示オプションを使用して、新しい共有データセットカテゴリを見つけます。このプロジェクトと共有されたデータセットからのすべてのテーブルがここにリスト表示されます。

#さらに詳しく

当社のソリューションを実装するためのトレーニングや技術サポートが必要な場合は、営業担当者にお問い合わせください、またはこのリンクをクリックして見積もりを受け取り、当社のプロフェッショナルサービスの専門家にプロジェクトのカスタム分析を依頼してください。

Data Platformを構築するチームと直接質問し、フィードバックを共有し、交流するには、専用のDiscordチャネルにアクセスしてください。

OVHcloudサービスについてサポートが必要な場合は、ヘルプセンターでリクエストを作成してください。

ユーザーコミュニティに参加してください。

¹: S3はAmazon Technologies, Inc.の商標です。OVHcloudのサービスは、Amazon Technologies, Inc.によってスポンサー、承認、またはその他の方法で提携されていません。