データのインポートと変換を設定する#

#目的

The Data Processing Engine (DPE) は、プラットフォームの外部および内部で データパイプラインを作成して実行する ためのコンポーネントです。管理とデプロイメントからスケーラビリティまで、すべてが自動化されており、データプロジェクトのビジネスロジックに集中できるように、そのロジスティクスに関することは気にする必要がありません。

Lakehouse Manager は、データ構造を 概念レベル で計画する場所です。一方、Data Processing Engine は、データに 物理的に影響を与える アクションを実行する場所です。

#アクション

An action は、データに対する単一の物理操作です。アクションは、workflows と呼ばれる自動化されたデータ処理パイプラインを作成するために、ステージに組織化できます。

クリックしてください、Actions メニューの Data Processing Engine。2つの Load アクションが、前のステップで自動的に生成されましたので、表示されるはずです。

これらのLoadアクションは、Lakehouse Managerで作成したスキーマに従って、データソースからデータを物理的に抽出し、データウェアハウスにロードします。

#さらにアクションを作成

カスタムアクションについてさらに詳しく学ぶ。

このチュートリアルでは、前のセクションで作成した dataset_history テーブルにデータを集約するためのアクションを作成します。

新しいアクションをクリックし、ストアから集約アクションテンプレートを選択します。

アグリゲートアクションを設定するには、3つの簡単なステップがあります：

• (1) ソーステーブルを選択します : stations_rides
• (2) 宛先テーブルを選択します : dataset_history
• (3) ソーステーブルを選択します : chicago_calendar_full

結合条件をドロップダウンメニューを使用してINNER joinに変更してください。これにより、dataset_historyテーブルのレコードにnullフィールドが含まれないようになります。また、集約アクションにテーブルがどのようにリンクされるかを知らせるために、以下のSQLコードをコピーして貼り付けることを忘れないでください：

stations_rides.date = chicago_calendar_full.date

属性は手動でマッピングする必要があります。下のスクリーンショットを参照し、すべての属性が正しくマッピングされていることを確認してください。 すべての属性が SELECT 関数内にあることを確認してください。

最後に、先ほど作成したカテゴリ属性 cat_temperature を定義しましょう。下図のように、青いオプションのドロップダウンから < map > （「マッピング」の略）オプションをクリックし、< sql > に切り替えてください。

以下のSQLコマンドをコピーして貼り付けてください:

CASE 
    WHEN chicago_calendar_full.temperature < 40 THEN 'very cold'
    WHEN chicago_calendar_full.temperature < 48 THEN 'cold'
    WHEN chicago_calendar_full.temperature < 55 THEN 'medium'
    WHEN chicago_calendar_full.temperature < 62 THEN 'hot'
    ELSE 'very hot'
END

Aggregate actionsについてさらに詳しく

作成をクリックします。

このチュートリアルに必要なすべてのアクションを生成しました。

製品ドキュメントでActionsについてさらに詳しく学ぶ

ワークフローの作成の次のステップに進む前に、最後のアクションである Delete を作成します。

その使用方法は非常に簡単です。選択したテーブルの内容を削除するために使用します。

新しい削除アクションを作成し、これまでに作成したすべてのテーブルを追加します。考え方は簡単です。テーブルに新しいデータを読み込むか、古いデータを再度読み込む場合、その前にテーブルをクリーンアップする必要があります。これはベストプラクティスです。

#ワークフロー

ワークフローは、あなたのアクションを...アクションに移すための映画の脚本のようなものです。🎬

ワークフロー内では、アクションが連続したステージに組織化されます。ステージ内では、すべてのアクションが並列して実行されますが、ステージは常に順番に実行されます。同じアクションを同じワークフロー内で複数回使用することができます。ワークフローは、アクションと同様に、手動で起動したり、スケジュールで実行したり、API呼び出しでトリガーしたりすることができます。

最初のワークフローを作成するには、ワークフロータブに移動し、新しいワークフローをクリックします。設定またはヘッダー名をダブルクリックして、新しい名前Chicagoデータのインポートを設定します。

まず、3つの異なるステージを定義するためにステージを追加をクリックします。次に、各ステージにアクションを追加するためにドロップダウン検索セレクターを使用します。各ステージのガイドとして提供されたスクリーンショットに従ってください。

ワークフローを作成した後（作成）、再生をクリックします。

ワークフローが実行されている間、トリガーを使用して毎日実行するようにスケジュール設定することができます。

ワークフローの設定タブに移動し、左下のトリガーウィジェットまでスクロールします。 +追加をクリックします。

トリガーの種類をCRONに、モードをシンプルに選択します。毎日タブに移動し、下の画像に示すようにオプションのリストから1日ごとを選択します。

確認ボタンをクリックして、任意の名前で新しいトリガーイベントを作成し、デフォルトでトリガーイベントテーブルに存在する起動エンドポイントの下に追加します。

実行設定の構成についてさらに詳しく学ぶ。

#ジョブ

このセクションを締めくくるために、Data Processing Engineコンポーネントの最後のタブについていくつかの言葉を述べます：ジョブ。

ジョブタブは、Data Processing Engineでトリガーされたすべての実行を要約し、高度なメトリクスレポートを含みます。ジョブは、実行中、キューイング、過去の実行の3つの主要なカテゴリに分類されます。最後に実行されたジョブを見て、あなたがたった今起動したワークフローの状態を確認できます。

これで、Getting StartedチュートリアルのData Engineeringセクションが完了しました🌟

データが正しく読み込まれたことを確認する良い方法は、Lakehouse Managerに戻り、テーブルに読み込まれた行数を確認することです。リスト表示モードを開き、行列を確認します。フィールドに数字が表示されている場合（読み込まれた行数を示す）は、すべてうまくいったことを意味します。

プロダクショングレードのシステムを設定していることを覚えておいてください。そのため、Lakehouse ManagerとData Processing Engineの両方が必要です。データパイプラインの高速化、パフォーマンスの最適化、カスタムエキゾチックデータソースの追加、またはカスタムスクリプトの作成についてのヘルプが必要な場合や、問題に遭遇した場合は、Discordサーバー内のData Platform Channelにお問い合わせください！

次に、データシステムの次のコンポーネントであるAnalytics Managerに移りましょう。

Analytics Managerで洞察に富むクエリを作成する

#さらに詳しく

当社のソリューションを実装するためのトレーニングや技術支援が必要な場合は、営業担当者にお問い合わせください、またはこのリンクをクリックして見積もりを依頼し、プロフェッショナルサービスの専門家にプロジェクトのカスタム分析を依頼してください。

質問をする、フィードバックを提供し、Data Platformを構築するチームと直接交流するには、専用のDiscordチャネルをご利用ください。

OVHcloudサービスについてサポートが必要な場合は、ヘルプセンターでリクエストを作成してください。

ユーザーコミュニティに参加してください。