データのインポートと変換を設定する#

#目的

The Data Processing Engine (DPE) は、Platform 内外でデータパイプラインを作成して実行することを可能にするコンポーネントです。管理とデプロイメントからスケーラビリティまで、すべてが自動化されているため、データプロジェクトのビジネスロジックに集中することができ、その物流に関することは気にする必要がありません。

Lakehouse Manager は、データ構造を 概念レベル で計画する場所です。一方、Data Processing Engine は、データに 物理的に影響を与える アクションを実行する場所です。

#アクション

An action は、データに対する単一の物理操作です。アクションは、workflows と呼ばれる自動化されたデータ処理パイプラインを生成するために、ステージに組織化することができます。

クリックしてください、Actions メニューの Data Processing Engine。2つの Load アクションが、前のステップで自動的に生成されましたので、表示されるはずです。

これらのLoadアクションは、Lakehouse Managerで作成したスキーマに従って、データをソースから物理的に抽出し、データウェアハウスに読み込みます。

#さらにアクションを作成

↪ カスタムアクションについてさらに詳しく学ぶ。

このチュートリアルでは、前の部分で作成した dataset_history テーブルにデータを集約するためのアクションを作成します。

新しいアクションをクリックし、ストアから集約アクションテンプレートを選択します。

3つの簡単な手順で集計アクションを設定できます。

• (1) ソーステーブルを選択します : stations_rides
• (2) 宛先テーブルを選択します : dataset_history
• (3) ソーステーブルを選択します : chicago_calendar_full

ジョイン条件をドロップダウンメニューを使用してINNER joinに変更してください。これにより、dataset_historyテーブルのレコードにnullフィールドが含まれないようになります。また、テーブルがどのようにリンクされるかを集約アクションに知らせるために、以下のSQLコードをコピーして貼り付けることを忘れないでください：

stations_rides.date = chicago_calendar_full.date

属性は手動でマッピングする必要があります。下のスクリーンショットを参照し、すべての属性が正しくマッピングされていることを確認してください。 すべての属性が SELECT 関数内にあることを確認してください。

最後に、先ほど作成したカテゴリ属性 cat_temperature を定義しましょう。下図のように、青いオプションのドロップダウンから < map > （「マッピング」の略）オプションをクリックし、< sql > に切り替えてください。

以下のSQLコマンドをコピーして貼り付けてください：

CASE 
    WHEN chicago_calendar_full.temperature < 40 THEN 'very cold'
    WHEN chicago_calendar_full.temperature < 48 THEN 'cold'
    WHEN chicago_calendar_full.temperature < 55 THEN 'medium'
    WHEN chicago_calendar_full.temperature < 62 THEN 'hot'
    ELSE 'very hot'
END

↪ Aggregate actionsについてさらに詳しく学ぶ

作成をクリックします。

このチュートリアルに必要なすべてのアクションを生成しました。

↪ アクションについての製品ドキュメントでさらに詳しく学ぶ

ワークフローの作成の次のステップに進む前に、削除という最終アクションを作成します。

その使用方法は非常に簡単です。選択したテーブルの内容を削除するために使用します。

新しい削除アクションを作成し、これまでに作成したすべてのテーブルを追加します。この考え方は簡単です。テーブルに新しいデータを読み込むか、古いデータを再度読み込む場合は、その前にテーブルをクリーンアップする必要があります。これはベストプラクティスです。

#ワークフロー

ワークフローは、アクションの実行順序を定義します。

ワークフロー内では、アクションは連続したステージに組織化されます。ステージ内では、すべてのアクションが並列して実行されますが、ステージは常に順番に実行されます。同じアクションは、同じワークフロー内で複数回使用できます。ワークフローは、アクションと同様に、手動で起動したり、スケジュールに基づいて実行したり、API呼び出しによってトリガーしたりできます。

最初のワークフローを作成するには、ワークフロータブに移動し、新しいワークフローをクリックします。設定またはヘッダー名をダブルクリックして、新しい名前シカゴデータのインポートを設定します。

まず、ステージを追加をクリックして3つの異なるステージを定義します。次に、各ステージにアクションを追加するためにドロップダウン検索セレクターを使用します。各ステージのガイドとして提供されたスクリーンショットに従ってください。

ワークフローを作成した後（作成）、再生をクリックします。

ワークフローが実行されている間、トリガーを使用して毎日実行するようにスケジュール設定できます。

ワークフローの設定タブに移動し、左下のトリガーウィジェットまでスクロールします。 +追加をクリックします。

トリガーの種類をCRONに、モードをシンプルに選択します。デイリータブに移動し、下の画像に示すように、オプションのリストから1日ごとを選択します。

確認ボタンをクリックして、任意の名前で新しいトリガーイベントを作成し、トリガーイベントテーブルの起動エンドポイントの下に追加します。

↪ 実行設定の構成についてさらに詳しく学ぶ。

#ジョブ

このセクションを締めくくるために、Data Processing Engineコンポーネントの最後のタブについていくつかの言葉を紹介します：ジョブ。

ジョブタブは、Data Processing Engineでトリガーされたすべての実行をまとめ、高度なメトリクスレポートを含みます。ジョブは、実行中、キューイング、過去の実行の3つの主要なカテゴリにリストされます。最後に実行されたジョブを見て、先ほど起動したワークフローの状態を確認できます。

これで、はじめにチュートリアルのData Engineeringセクションは完了しました。

データが正しく読み込まれたことを確認する良い方法は、Lakehouse Managerに戻り、テーブルに読み込まれた行数を確認することです。リスト表示モードを開き、行列を確認します。フィールドに数字（読み込まれた行数を示す）があれば、すべてうまくいったことを意味します。

プロダクショングレードのシステムを設定していることを覚えておいてください。そのため、Lakehouse ManagerとData Processing Engineの両方が必要です。データパイプラインの高速化、パフォーマンスの最適化、カスタムエキゾチックデータソースの追加、またはカスタムスクリプトの作成についてのヘルプが必要な場合や、問題に遭遇した場合は、Discordサーバー内のData Platform Channelに問い合わせることをためらわないでください！

次に、データシステムの次のコンポーネントであるAnalytics Managerに移りましょう。

Analytics Managerで洞察に富むクエリを作成する

#さらに詳しく

トレーニングや技術的なサポートを受けて当社のソリューションを実装するには、営業担当者にお問い合わせください、またはプロフェッショナルサービスページを訪れて見積もりを依頼し、専門家にプロジェクトを分析してもらってください。

質問をする、フィードバックを提供し、Data Platformを構築するチームと直接交流するには、専用のDiscordチャネルを利用してください。

OVHcloudサービスについてサポートが必要な場合は、ヘルプセンターでリクエストを作成してください。

ユーザーコミュニティに参加してください。