Data PlatformのワークフローでETLパイプラインをオーケストレーションする
ワークフローは基本的に、Platform上のオーケストレーションされたETLおよびデータ処理パイプラインです
目的
ワークフローは基本的に、Platform上のオーケストレーションされたETLおよびデータ処理パイプラインです。ワークフローは、Data Processing Engine内の組織構造であり、アクションのシーケンスを表します。このアクションは以下のように実行できます。
- 手動で実行するか、API呼び出しを通じて実行する
- 与えられた時間に実行するようにスケジュールする(CRON)
ワークフローを作成する際には、ステージにアクションを組織化してデータの処理をカスタマイズできます。ステージは順次実行され、アクションは並列実行されます。
ワークフローが起動されるたびに、ワークフローの実行を監視するには、ログを確認します。
ワークフローを作成する
Platformは、アクションをスケジュールされたワークフローにオーケストレーションするためのシンプルなポイントアンドクリックインターフェースを提供しています。ワークフローの作成には2つの主要なステップがあります。
- ステージ: ワークフローの連続するステージを構成します。ステージ内のアクションは、ワークフローの作成時に追加するか、後で追加できます。
- 設定: ユーザーはワークフローに関するさまざまなパラメータと情報を定義できます。
ステージ
ワークフロー内では、アクションが順次のステージに組織化されます。ステージ内では、アクションが並列に実行されます(つまり、複数のインスタンスで並列実行できます)。
ワークフローに複数の言語バージョンのアクションが含まれている場合、最新の言語バージョンで実行されます。この動作をワークフローの設定からオーバーライドできます。
現在、単一のワークフローにはPySparkアクションと通常のアクションの両方を含めることはできません。
ワークフローには少なくとも1つのアクションが含まれている必要があり、実行する前に空のワークフローは実行できません。
設定
設定タブでは、ユーザーはワークフローに名前、説明、タグを付け、いくつかの実行パラメータを定義できます。
「Auto Flushall」の役割は何ですか? Platformは、アプリケーションを使用する際のパフォーマンス向上のため、クエリの出力をキャッシュに保存します(つまり、「事前計算」されます)。「Flush all」を実行すると、クエリが再実行され、アプリケーション内のデータが更新されます。そのため、デフォルトで有効になっており、通常、ワークフローの処理時間に5~10秒の追加時間がかかります。複雑な連続データ処理ワークフローの場合、無効にして、最後に別のワークフローとして実行することを検討してください。
高度なモード
高度なタブを使用して、統合されたIDEを使用してワークフローをさらにカスタマイズできます。JSON設定ファイルを使用してワークフローをさらにカスタマイズするには、高度なタブが利用可能です。
ワークフローを管理する
ワークフロー画面では、どのワークフローが実行されているか、正常に実行されたか、実行中にエラーが発生したかをすぐに確認できます。
各ワークフローの行のさらに多くアイコン(つまり、「...」)にマウスをかざすと、簡単に以下の操作ができます。
- ワークフローを削除する
- 既存のワークフローを編集する
- ワークフローを実行する
- ワークフローのログを確認する
ワークフローの数が増えると、フォルダを使用してビューを整理したり、画面右上の検索バーを使用して特定のワークフローを検索したりできます。ワークフローをフォルダに追加するには、ワークフローを特定のフォルダ内にドラッグ&ドロップします。
ワークフローを監視する
ログ
ワークフローの進捗を監視するには、コンソールアイコンをクリックしてログを開くことができます。これにより、Control Center Logs Explorerが新しいウィンドウで開きます。
ワークフローの設定で、ログに利用可能な情報レベル(デバッグ、情報、通知、警告、エラー、重要)を定義できます。
アラート
アクションと同様に、ワークフローの実行を監視するには、いくつかの主要な実行メトリクス(ジョブの成功、実行時間、使用メモリなど)にアラートを設定できます。これにより、Control Centerにアラートが作成されます。
さらに詳しく
トレーニングや技術的なサポートを受けて、当社のソリューションを実装するには、営業担当者に連絡するか、Professional Servicesページを訪れて見積もりを依頼し、専門家がプロジェクトを分析するようにしてください。
質問をする、フィードバックを提供し、Data Platformを構築するチームと直接交流するには、専用のDiscordチャネルを利用してください。
OVHcloudサービスについてサポートが必要な場合は、Help Centreでリクエストを作成してください。
ユーザーコミュニティに参加してください。

