Lakehouse Manager
データセット、テーブル、バケット、ラインナンス、列レベルのアクセスを1つのストアに統合。
Lakehouse Manager とは？
Lakehouse Manager は、プロジェクトのデータが保存される場所です。これは Apache Iceberg に基づくサーバーレス・レイクハウスで、データレイクとデータウェアハウスのストレージを1つのサービスに統合しています。クラスターのサイズを調整する必要はなく、生データファイルと分析テーブルの両方に対して1つのオープンテーブルフォーマットを使用できます。
データは データセット で整理されており、これはスキーマがリレーションをグループ化する方法と同様に テーブル をグループ化します。テーブルには独自の型と制約を持つ 属性 が含まれており、すべての書き込みはバージョン管理されています。そのため、Time Travel を使用して、テーブルが過去の時点でどのようになっていたかを読み取ることができます。バケット は、テーブルの横に非構造化および半構造化ファイルを保持し、Explorer は両方をブラウズします。
2つの機能はストア全体にわたります。ラインナンス は、テーブルを供給するパイプラインから、そのテーブルから構築されたテーブルまで、プロジェクト内のデータの流れをマッピングします。ポリシーテグ は、CEL条件を通じて呼び出し元のIAMアイデンティティに対して評価されることで、個々の属性レベルまでアクセス制御を適用します。
テーブルは Data Processing Engine によって Connectors に登録されたソースからポップレートされ、Analytics Manager によって読み取られます。
主要な概念→
データセット、テーブル、そしてそれらの背後にあるIcebergモデル。
データセット→
テーブルをグループ化し、クエリが到達できる範囲を制御します。
テーブル→
テーブルを作成し、識別子フィールドとパーティションを設定します。
属性→
テーブル列のタイプ、制約、およびデフォルト。
バケット→
テーブルの横にあるファイル用のオブジェクトストレージ。
エクスプローラー→
テーブルとバケットの内容を直接ブラウズします。
系譜→
テーブルに何を供給し、何を構築するかを見ます。
ポリシータグ→
CEL条件を通じて属性レベルのアクセス制御。
さらに深く掘り下げる
トレーニングや技術的なサポートを受けるには、営業担当者にお問い合わせください、または Professional Services ページを訪れて、見積もりを依頼し、専門家によってプロジェクトを分析してもらってください。
質問をする、フィードバックを提供する、および Data Platform を構築するチームと直接交流するには、専用の Discord チャネル をご利用ください。
OVHcloud サービスについてサポートが必要な場合は、Help Centre でリクエストを作成してください。
ユーザーコミュニティ に参加してください。