データモデルの作成と構築
Lakehouse Manager は、次に使用するコンポーネントです。Lakehouse Manager を使用して、データ構造を概念レベルで計画します
目的
Lakehouse Manager は、次に使用するコンポーネントです。このコンポーネントは、以下を制御します。
- データウェアハウス
- ポリシータグ管理
Lakehouse Manager を使用して、データ構造を 概念レベル で計画します。これは、Tables 機能のお世話になります。
このチュートリアルは、Lakehouse Manager Engine を使用する Standard Datasets を対象としています。External Datasets で同じ手順を実行するには、こちらをクリックしてください。
データをテーブルで整理する
プライマリスキーマを作成する
データモデルにテーブルを追加する
メタデータの抽出が完了したら、次はテーブルダッシュボードに移動します。ここでは、すべてのデータの統一されたクエリ可能なビューを構築します。
空のテーブルページは次のように表示されます。
すべてのテーブル タブでは、データの全体を確認できます。新しいビュー タブでは、データの一部のみを表示するビューを作成できます。これにより、大規模なチームでの協力がより容易になります。このチュートリアルはシンプルなものなので、すべてのテーブル タブで作業してください。
次に、プライマリテーブルとその属性の作成に集中しましょう。
まず、画面右側の青い ➕ 新しいテーブル ボタンの上にカーソルを置きます。これにより、作成オプションが表示されます。
- ファイルをアップロードする
- コネクタソースから作成する
- 空のテーブルを作成する
このチュートリアルでは、コネクタソースから作成する を選択します。ファイルをアップロードしてテーブルを作成するには、テーブルの作成 ドキュメントを参照してください。
コネクタソースから作成する をクリックすると、前のステップで表示されたソースのリストが表示されます。追加したいソースをクリックし、次に進むには 次へ をクリックします。ここではデフォルト設定を変更する必要はありません。
テーブルを構築する、テーブルを一度読み込む、後で読み込みアクションを生成する オプションは無効にでき、各ステップを個別に実行することもできます。詳細はこちらで確認できます。
作成 をクリックし、同じ手順を2番目のテーブルでも繰り返します。
テーブルページで変更を加えるたびに、視覚的な構成が自動的に保存されます。
この段階で、テーブルページは次のように表示されるはずです。
プラットフォームは、アナライザステップでキャプチャしたメタデータ情報を使用して、テーブルを自動的に作成し、属性名とタイプを割り当てます。提供されたソースファイルはそのまま使用できますが、実際のプロジェクトでは、テーブルページにドラッグ＆ドロップする前に、アナライザを使用してデータソースを確認する必要があります。
集約テーブルを作成する
次に、ソース（主に乗車、日付、温度）からすべての重要なデータを1つのテーブルに集約します。このテーブルは最終アプリケーションで使用されます。最初の集約テーブルを作成するには、青い ➕ アイコンをクリックします。空のテーブルを作成する を選択すると、新しいテーブル構成が表示されます。名前（例:dataset_history）を設定して保存します。
新しく作成した空のテーブルに属性を追加する前に、画面の右下にあるリストからキャンバスに表示を変更する必要があります。これにより、次の手順がより簡単になります。
以下の属性をドラッグ＆ドロップして dataset_history に移動します。
最後に、数値温度データを理解しやすいカテゴリ（寒い、暑いなど）に変換するのに役立つ新しい属性を作成する必要があります。
まず、テーブル dataset_history をクリックすると、上部に ➕ アイコンが表示されます。これにより、テーブル内で属性を作成または編集できます。
属性を次のように定義します。
この属性は、現在物理的に指定されていません。これは、別のコンポーネントであるデータ処理エンジンで後で実行されます。
ビルドを完了する
最後に、簡単に確認しましょう！ 次のステップに進む前に、スクリーンショットのデータモデルと完全に同じであることを確認してください。属性が不足している場合、チュートリアルの後続の手順で問題が発生する可能性があります。
次に、青い ➕ アイコンの下にある ビルド アイコンをクリックして、データセット内のテーブルと属性を実際に作成/更新します。これにより、データがテーブルに読み込まれるわけではありません（これは次の記事で実行されます）。これは、単に論理スキーマをテーブルと属性に適用するだけです。
データの視覚的な論理スキーマは自動的に保存されますが、テーブルへの変更は、ビルドされない限りプラットフォームの他の部分に表示されません。
このチュートリアルのビルドタスクは、数分以内に完了するはずです。完了したら、次に進むことができます。
バーチャル属性で関連するメトリクスを追加する
このモデルへのデータの物理的な処理（ETL/ELT）に進む前に、後で分析に使用する追加メトリクスを準備しましょう。このチュートリアルに従って構築している最終アプリケーションには、特定の駅での1日あたりの乗車数 を示すチャートが含まれています。
ただし、このチャートをプライマリソースに直接構築するための必要なデータはありません。特定の駅の1日あたりの平均乗車数を示すメトリクスが必要です。このメトリクスは、クエリとダッシュボードで使用できます。
ただし、プラットフォームを使用してこれを計算するにはどうすればよいでしょうか？ その方法の1つは、バーチャル属性 を作成することです。バーチャル属性を使用すると、SQL式を計算できます。これらは必要に応じて計算され、データベースに保存されません。これらは、最終ダッシュボードのクエリまたはチャートで使用できます。
バーチャル属性の追加または編集には、スキーマの再構築が必要ありません。
属性 ページに切り替えます。このページでは、データモデル内のすべての物理的およびバーチャル属性と、プロジェクト内のラインナンスを一覧表示できます。
新しい属性 ボタンをクリックして、バーチャル属性を作成します。
作成ウィンドウでは、バーチャル を領域として選択することを確認します。
次に、これらの2つの属性とそれぞれのSQLコードを追加します。
yearmonth 属性は、yyyy-mm 形式の年と月を提供します。これは後で使用します。
インポートしたデータから新しい属性/メトリクスを生成するために、2つの異なる方法を使用したことに注意してください。集約テーブルに属性を追加する と バーチャル属性 です。
- 新しい物理属性を追加すると、ストレージを使用し、データ処理エンジンで物理的に定義する必要がありますが、これにより、データモデル全体を変更せずに、その仕様を編集できるため、より厳密になります。
- バーチャル属性は、スケーリング時に修正する必要がある場合、管理が難しくなる可能性があります。
次に、データ処理エンジンに進み、次に何をするかを見てみましょう。
さらに詳しく
当社のソリューションのトレーニングや技術的なサポートが必要な場合は、営業担当者にお問い合わせください。または、Professional Services ページをご覧になり、見積もりをご依頼いただき、当社の専門家がプロジェクトを分析してください。
Discord チャンネル で、Data Platform を構築しているチームと直接やり取りし、質問をしたり、フィードバックを送信したりしてください。
OVHcloud サービスについてサポートが必要な場合は、Help Centre でリクエストを作成してください。
ユーザーコミュニティ に参加してください。