#目的

Spark History Serverを使用すると、Data Processing Engineから直接、Sparkジョブの実行履歴を確認できます。外部ツールを設定する必要はありません。

これは、PySparkベースのアクション（PySparkの読み込み、PySparkの集計、カスタムPySparkおよびそれらを実行するワークフローに適用されます。ノートブックは対象外です。

有効にすると、各PySparkジョブはイベントログを記録します。必要に応じてサーバーを起動し、最近の実行を閲覧し、各実行のSpark UI（ライブまたは完了）を開き、DataFlintで分析し、保持ルールを適用してストレージを制御します。

#サーバーの起動と停止

History Serverは必要なときのみ実行されます。Startボタンを使用してページの右上にサーバーを起動します。その状態（Stopped / Running）、アップタイム、および自動停止までの時間は、ボタンの横に表示されます。

サーバーは、Preferencesで設定された不活性期間後に自動的に停止するため、必要以上に起動したままになることはありません。また、いつでも手動で停止できます。

#概要

Overviewタブでは、環境の概要を確認し、最近のSpark実行を一覧表示できます。

#統計

Statisticsパネルでは、環境のスナップショットを確認できます。

• Applications: アプリケーションの総数と現在進行中のアプリケーションの数。
• Storage: 保存されたイベントログの総サイズとクリーンアップ待ちの量。
• Activity: 最後の実行時間と平均Spark実行時間。

#最近のアプリケーション

最近のアプリケーションテーブルでは、アクションまたはワークフローの名前、ジョブ番号、SparkアプリID、状態、実行終了時間、Spark実行時間、およびサイズを確認できます。

各行からは、1クリックでアクセスできます。

• Spark UI: ステージ、タスク、実行詳細を探索するための標準Sparkインターフェース。
• DataFlint: オープンソースのDataFlintプロジェクトによって提供されるパフォーマンスの洞察と最適化のヒントを備えた強化された分析ビュー。

Spark UIを開くと、実行の完全な標準Sparkインターフェースが表示され、ジョブ、ステージ、タスクを探索できます。

DataFlintは、同じ実行に対してパフォーマンスの洞察と最適化のヒントを重ねて表示します。

#実行中のジョブを追跡

実行中のジョブはテーブルの上部に表示され、ライブとしてマークされます。ジョブのインターフェースが準備できるとすぐに、実行が終了するのを待たずにライブSpark UIとDataFlintビューを開くことができます。

#Preferences

Preferencesタブでは、キャプチャされる内容、サーバーのサイズ、停止時刻、およびログの保持期間を制御できます。

#イベントログ

デフォルトで有効です。Spark History Serverで分析するために、各PySparkジョブの詳細な活動を記録します。DataFlintによって提供されるパフォーマンスの洞察と最適化のヒントも含まれます。

無効にすると、次のジョブの分析は利用できません。既存の実行の履歴は保持されます。

#ライブSpark UI

デフォルトで無効です。PySparkジョブのライブSpark UIを公開し、イベントログを待たずに実行を監視できます。この設定は、次の実行に適用されます。

#サーバーリソースと自動停止

• サーバーリソース: サーバーに割り当てられるコンピューティングパワーは、1から4 DPUです。変更は、サーバーの次回起動時に適用されます。
• 自動停止: 選択した不活性期間後にサーバーを自動的に停止します。オプション: Never、After 2 hours、またはAfter 8 hours。デフォルトは24 hoursです。

#保持

イベントログは毎日自動的にクリーンアップされます。アプリケーションは、以下の有効な制限のいずれかを超えると削除されます。最も最近のアプリケーションは常に保持されます。0（またはUnlimited）に設定して無効にできます。Clean up nowを使用して、クリーンアップをすぐに実行できます。

• 保持（日数）: アプリケーションを保持する期間。オプション: 7（デフォルト）、30、90、365、またはUnlimited。
• 最大保持アプリケーション数: オプション100（デフォルト）、10、50、100、500、またはUnlimited。
• 最大合計サイズ: オプション1、5、10、または50 GB、またはUnlimited。

#さらに詳しく

トレーニングや技術的なサポートが必要な場合は、営業担当者にお問い合わせください、またはProfessional Servicesページをご覧ください。見積もりをリクエストし、専門家がプロジェクトを分析してください。

質問をする、フィードバックを送信し、Data Platformを構築するチームと直接交流するには、専用のDiscord channelをご利用ください。

OVHcloudサービスについてサポートが必要な場合は、Help Centreでリクエストを作成してください。

コミュニティのユーザーに参加してください。

¹: S3はAmazon Technologies, Inc.の商標です。OVHcloudのサービスは、Amazon Technologies, Inc.によってスポンサーされ、承認され、またはその他の方法で提携しているものではありません。