For AI agents: the complete documentation index is available at https://docs.dataplatform.ovh.net/ja/llms.txt, the full documentation bundle is available at https://docs.dataplatform.ovh.net/ja/llms-full.txt, and this page is available as Markdown at https://docs.dataplatform.ovh.net/ja/dpe-workflows.md.
  • 🇯🇵 日本語
  • Data PlatformのワークフローでETLパイプラインをオーケストレーションする

    ワークフローは基本的に、Platform上のオーケストレーションされたETLおよびデータ処理パイプラインです

    目的

    ワークフローは基本的に、Platform上のオーケストレーションされたETLおよびデータ処理パイプラインです。ワークフローは、Data Processing Engine内の組織構造であり、アクションのシーケンスを表します。このアクションは以下のように実行できます。

    • 手動で実行するか、API呼び出しを通じて実行する
    • 与えられた時間に実行するようにスケジュールする(CRON)

    ワークフローを作成する際には、ステージにアクションを組織化してデータの処理をカスタマイズできます。ステージは順次実行され、アクションは並列実行されます。

    ワークフローが起動されるたびに、ワークフローの実行を監視するには、ログを確認します。

    ワークフローを作成する

    Platformは、アクションをスケジュールされたワークフローにオーケストレーションするためのシンプルなポイントアンドクリックインターフェースを提供しています。ワークフローの作成には2つの主要なステップがあります。

    • ステージ: ワークフローの連続するステージを構成します。ステージ内のアクションは、ワークフローの作成時に追加するか、後で追加できます。
    • 設定: ユーザーはワークフローに関するさまざまなパラメータと情報を定義できます。
    ワークフローを作成する — 新しいワークフロー

    ステージ

    ワークフロー内では、アクションが順次のステージに組織化されます。ステージ内では、アクションが並列に実行されます(つまり、複数のインスタンスで並列実行できます)。

    ステージ — 処理の組織化

    ワークフローに複数の言語バージョンのアクションが含まれている場合、最新の言語バージョンで実行されます。この動作をワークフローの設定からオーバーライドできます。

    Warning

    現在、単一のワークフローにはPySparkアクションと通常のアクションの両方を含めることはできません。

    Info

    ワークフローには少なくとも1つのアクションが含まれている必要があり、実行する前に空のワークフローは実行できません。

    設定

    設定タブでは、ユーザーはワークフローに名前、説明、タグを付け、いくつかの実行パラメータを定義できます。

    設定 — ワークフローの設定
    Info

    「Auto Flushall」の役割は何ですか? Platformは、アプリケーションを使用する際のパフォーマンス向上のため、クエリの出力をキャッシュに保存します(つまり、「事前計算」されます)。「Flush all」を実行すると、クエリが再実行され、アプリケーション内のデータが更新されます。そのため、デフォルトで有効になっており、通常、ワークフローの処理時間に5~10秒の追加時間がかかります。複雑な連続データ処理ワークフローの場合、無効にして、最後に別のワークフローとして実行することを検討してください。

    高度なモード

    高度なタブを使用して、統合されたIDEを使用してワークフローをさらにカスタマイズできます。JSON設定ファイルを使用してワークフローをさらにカスタマイズするには、高度なタブが利用可能です。

    高度なモードを使用してワークフローを構成する方法を学ぶ

    ワークフローを管理する

    ワークフロー画面では、どのワークフローが実行されているか、正常に実行されたか、実行中にエラーが発生したかをすぐに確認できます。

    各ワークフローの行のさらに多くアイコン(つまり、「...」)にマウスをかざすと、簡単に以下の操作ができます。

    • ワークフローを削除する
    • 既存のワークフローを編集する
    • ワークフローを実行する
    • ワークフローのログを確認する
    ワークフローを管理する — ワークフローのCRUD

    ワークフローの数が増えると、フォルダを使用してビューを整理したり、画面右上の検索バーを使用して特定のワークフローを検索したりできます。ワークフローをフォルダに追加するには、ワークフローを特定のフォルダ内にドラッグ&ドロップします。

    ワークフローを管理する — ワークフローの基本アクション

    ワークフローを監視する

    ログ

    ワークフローの進捗を監視するには、コンソールアイコンをクリックしてログを開くことができます。これにより、Control Center Logs Explorerが新しいウィンドウで開きます。

    ワークフローの設定で、ログに利用可能な情報レベル(デバッグ、情報、通知、警告、エラー、重要)を定義できます。

    ログ — ETLログ

    アラート

    アクションと同様に、ワークフローの実行を監視するには、いくつかの主要な実行メトリクス(ジョブの成功、実行時間、使用メモリなど)にアラートを設定できます。これにより、Control Centerにアラートが作成されます。

    アラート — ETLアラート

    さらに詳しく

    トレーニングや技術的なサポートを受けて、当社のソリューションを実装するには、営業担当者に連絡するか、Professional Servicesページを訪れて見積もりを依頼し、専門家がプロジェクトを分析するようにしてください。

    質問をする、フィードバックを提供し、Data Platformを構築するチームと直接交流するには、専用のDiscordチャネルを利用してください。

    OVHcloudサービスについてサポートが必要な場合は、Help Centreでリクエストを作成してください。

    ユーザーコミュニティに参加してください。