#Data Processing Engine とは何ですか？

Data Processing Engine は、プロジェクトのデータパイプラインを構築し、実行します。生データソースから分析者がクエリするテーブルまで、すべてをカバーします。登録されたソースからの抽出と読み込み、プロジェクト内に保持されているデータの変換、および両方に関するスケジューリングとトリガーを含みます。

モデルを構成する4つのオブジェクトは次のとおりです：

• アクション は、1つの作業単位です：テーブルを読み込む、集計する、SQLを実行する、カスタムPythonまたはPySparkを実行する。
• ワークフロー は、アクションを特定の実行順序でステージにチェーンします。
• 環境 は、アクションとワークフローで共有される、リソース、ペリメーター、セグメンテーション、変数をカバーする再利用可能な実行設定のセットです。
• ジョブ は、アクションまたはワークフローの1回の実行です。

実行はジョブベースであり、長時間実行されるわけではありません。アクションまたはワークフローがトリガーされると、プラットフォームはリクエストされたリソースでワーカーを構築し、ジョブを実行した後、ワーカーをシャットダウンします。そのため、コンピューティングは実行時間のみ請求されます。プロビジョニングを待つことができないワークロードには、常時実行モードが利用可能です。

すべてのジョブはサービスアカウントとして実行され、そのIDのIAMロールがジョブが読み書きできる内容を決定します。ノートブックは対話型のカウンターパートです：データのロジックがアクションになる前にデータを探索するためのJupyterインスタンスです。PySparkジョブの場合、Spark History Serverは過去の実行のSpark UIを利用可能に保持するため、完了したジョブはステージごとに引き続き検査できます。

#さらに詳しく知る

当社のソリューションを実装するためのトレーニングや技術サポートが必要な場合は、営業担当者にお問い合わせください、またはこのリンクをクリックして、プロフェッショナルサービスの専門家にプロジェクトのカスタム分析を依頼し、見積もりを受け取ってください。

Data Platformを構築するチームと直接やり取りし、質問をしたり、フィードバックを送信したり、Discordの専用チャネルで参加してください。

OVHcloudサービスについてサポートが必要な場合は、ヘルプセンターでリクエストを作成してください。

ユーザーコミュニティに参加してください。