For AI agents: the complete documentation index is available at https://docs.dataplatform.ovh.net/ja/llms.txt, the full documentation bundle is available at https://docs.dataplatform.ovh.net/ja/llms-full.txt, and this page is available as Markdown at https://docs.dataplatform.ovh.net/ja/dpe-workflows.md.
  • 🇯🇵 日本語
  • Data PlatformのワークフローでETLパイプラインをオーケストレーションする

    ワークフローは基本的に、Platform上のオーケストレーションされたETLおよびデータ処理パイプラインです

    目的

    ワークフローは基本的に、Platform上のオーケストレーションされたETLおよびデータ処理パイプラインです。ワークフローは、Data Processing Engine内の組織構造であり、アクションのシーケンスを表します。これは以下のように実行できます。

    • 手動で実行するか、API呼び出しを通じて実行する
    • 指定された時間に実行するようにスケジュールする(CRON)

    ワークフローを作成する際には、ステージにアクションを組織化してデータの処理をカスタマイズできます。ステージは順次実行され、アクションは並列実行されます。

    ワークフローが起動されるたびに、ワークフローの実行を監視するには、ログを確認します。

    ワークフローの作成

    Platformは、アクションをスケジュールされたワークフローにオーケストレーションするためのシンプルなポイントアンドクリックインターフェースを提供しています。ワークフローの作成には2つの主要なステップがあります。

    • ステージ: ワークフローの連続するステージを構成します。ステージ内のアクションは、ワークフローの作成時またはその後に追加できます。
    • 設定: ユーザーはワークフローのさまざまなパラメータと情報を定義できます。
    ワークフローを作成 — 新しいワークフロー

    ステージ

    ワークフロー内では、アクションが順次のステージに組織化されます。ステージ内では、アクションが並列に実行されます(つまり、複数のインスタンスで並列実行できます)。

    ステージ — 処理の組織化

    ワークフローに複数の言語バージョンのアクションが含まれている場合、最新の言語バージョンで実行されます。この動作は、ワークフローの設定からオーバーライドできます。

    Warning

    現在、単一のワークフローにはPySparkアクションと通常のアクションの両方を含めることはできません

    Info

    ワークフローには、少なくとも1つのアクションが含まれている必要があります。空のワークフローは実行できません。

    設定

    設定タブでは、ユーザーがワークフローに名前、説明、タグを付け、いくつかの実行パラメータを定義できます。

    設定 — ワークフローの設定
    Info

    「Auto Flushall」の機能は何ですか? Platformは、アプリケーションを使用する際のパフォーマンス向上のためにクエリの出力をキャッシュに保存します(つまり、「事前計算」されます)。「Flush all」を実行すると、クエリが再実行され、アプリ内のデータが更新されます。したがって、デフォルトで有効になっており、通常、ワークフローの処理時間に5~10秒の追加時間を追加します。複雑な連続データ処理ワークフローの場合、無効にして、最後に別のワークフローとして1回だけ実行することを検討してください。

    高度なモード

    また、統合されたIDEを使用して高度なモードでカスタマイズすることもできます。高度なタブは、JSON設定ファイルを使用してワークフローをさらにカスタマイズするために利用可能です。

    高度なモードを使用してワークフローを構成する方法を学ぶ

    ワークフローの管理

    ワークフロー画面では、どのワークフローが実行されているか、正常に実行されたか、実行中にエラーが発生したかをすぐに確認できます。

    各ワークフローの行のさらに多くアイコン(つまり「...」)にマウスをかざすと、簡単に以下の操作ができます。

    • ワークフローを削除する
    • 既存のワークフローを編集する
    • ワークフローを実行する
    • ワークフローのログを確認する
    ワークフローの管理 — ワークフローのCRUD

    ワークフローの数が増えるにつれて、フォルダを使用してビューを整理したり、画面右上の検索バーを使用して特定のワークフローを検索したりできます。ワークフローをフォルダに追加するには、ワークフローを特定のフォルダ内にドラッグ&ドロップします。

    ワークフローの管理 — ワークフローの基本アクション

    ワークフローの監視

    ログ

    ワークフローの進捗状況を監視するには、コンソールアイコンをクリックしてログを開くことができます。これにより、Control Center Logs Explorerが新しいウィンドウで開きます。

    ワークフローの設定で、ログに利用可能な情報レベル(デバッグ、情報、通知、警告、エラー、重要)を定義できます。

    ログ — ETLログ

    アラート

    アクションと同様に、ワークフローの実行を監視するには、いくつかの主要な実行メトリクス(ジョブの成功、実行時間、使用メモリなど)にアラートを設定できます。これにより、Control Center内にアラートが作成されます。

    アラート — ETLアラート

    さらに詳しく

    トレーニングや技術的なサポートが必要な場合は、営業担当者にお問い合わせください、またはこのリンクをクリックして見積もりを依頼し、プロフェッショナルサービスの専門家にプロジェクトのカスタム分析を依頼してください。

    Data Platformを構築するチームと直接質問し、フィードバックを共有し、交流するには、専用のDiscordチャンネルにアクセスしてください。

    OVHcloudサービスについてサポートが必要な場合は、ヘルプセンターでリクエストを作成してください。

    ユーザーコミュニティに参加してください。