カスタム PySpark アクション
ソフトウェア開発キット（SDK）を使用して、プラットフォームのさまざまなコンポーネントと簡単に相互作用する
目的
カスタム PySpark アクション は、Apache Spark™を使用して、スケーラブルなクラウドクラスタ環境でカスタム PySpark スクリプトを実行することができます。
ソフトウェア開発キット（SDK）を使用して、プラットフォームのさまざまなコンポーネントと簡単に相互作用することができます。 カスタム PySpark アクション は、以下のようなさまざまなユースケースを実装するために使用できます。
- データウェアハウスに対して操作アルゴリズムまたはETLジョブを実行する
- 単純なデータ分析または機械学習アルゴリズムを実行する
- Data Platform マーケットプレイスに利用できないデータソースからデータを抽出する（そのためにコネクタを作成する必要はありません）
- リアルタイムデータ（MQTT、Kafka など）を抽出する
カスタム PySpark アクションは、ワークフロー内でオーケストレーションでき、即時またはスケジュールに基づいてトリガーできます。現在、単一のワークフローには、PySpark アクションと通常のアクションの両方を含めることはできません。
カスタム PySpark アクションの設定
プロジェクトの Data Processing Engine で、アクションタブに移動し、新しいアクション ボタンをクリックします。 アクションタイプとして カスタム PySpark を選択します。
.py PySpark スクリプトを「ドラッグ＆ドロップ」セクションにドラッグ＆ドロップします。 または、ボイラープレートから開始 オプションを選択して、プラットフォームの Python インターフェースでサンプルコードスニペット付きで直接開始できます。
編集インターフェースでソースファイルを直接編集できます（必要に応じて新しいファイルをドロップできます）。 下記の PySpark ドキュメントを参照してください。
ソフトウェア開発キット（SDK）で提供される任意の関数を使用して、プラットフォームの他のコンポーネントと簡単に相互作用できます。 利用可能なすべての SDK 関数についてさらに詳しくは、以下の記事を参照してください。
ヘルパーパネルを使用する
カスタム PySpark アクション エディタにはヘルパーパネルが含まれており、スクリプトを離れずにガイダンスを取得できます。
- シナリオ: カテゴリ別に整理された、コピーしてユースケースに合わせて調整できる、使用可能なアクションスクリプト。
- SDK ガイド: スクリプトから呼び出せる SDKメソッドのドキュメント。
- データ: エディタから直接プロジェクトのデータをブラウズして、コードを記述する間に名前と構造を確認できます。
- FAQ: アクションに関する一般的な質問への回答。
ヘルパーコンテンツは、ノートブックの Data Platform 拡張機能を駆動するライブカタログと同じものです。 したがって、常に最新の状態です。
並列処理の管理
アクションの 設定で、より多くの並列ワーカーインスタンスを追加してジョブをスケールアップできます。
インスタンス の希望する数を入力します。これは Spark エグゼキュータの数です。 各インスタンスの CPU と RAM のサイズは、各インスタンスに割り当てられる DPUの数を変更することで管理できます。
PySpark スクリプト内で、これらの異なるワーカーにジョブのワークロードをどのように分割するかを指定します。
依存関係の管理
Python パッケージのインストール
デフォルトで含まれていない特定のパッケージをインストールする必要がある場合があります。 「Python Requirements」フィールドに追加できます。「pip」（Python パッケージマネージャー）の基本的な要件ファイルで使用される形式に従って、キーボードの ENTER キーを押します。
ENTER キーを押した後、このような表示になります。
Git リポジトリからパッケージをインストールする
git+ プレフィックスを要件に使用して、GitHub または GitLab リポジトリから直接 Python パッケージをインストールできます。
特定のバージョンを固定するには、タグまたはコミットハッシュを追加します。
最新リリースの自動インストール
バージョンタグを手動で追跡することなく、常に最新の公開リリースをインストールするには、@latest を使用します。
プラットフォームは git+ プレフィックスと @latest サフィックスを検出し、最新のリリースタグを解決してインストールする前に自動的に置き換えます。
Git 依存関係を追加または変更した後、強制ビルド をクリックして再インストールします。 モジュールの新しいバージョンが公開されるたびにタグまたはコミットハッシュを手動で更新する必要はありませんが、強制ビルド を実行する必要があることに注意してください。 これは、最新リリースが実行時に自動的に取得されるわけではないためです。
デフォルトの依存関係リスト
Data Platform は、バグ修正をインストールできるように、バージョンのマイナーバージョンをブロックします。 ライブラリのより新しいバージョンが必要な場合は、「Requirements」フィールドに同じパッケージを新しいバージョンで追加して手動で上書きできます。
Data Processing Engine ワーカーに同梱されているすべてのパッケージとそのバージョン（pip の要件ファイルで見つけることができるように）のリストは次のとおりです。
さらに詳しく
ソリューションを実装するためのトレーニングや技術サポートが必要な場合は、営業担当者に連絡するか、このリンクをクリックして見積もりを取得し、プロフェッショナルサービスの専門家にプロジェクトのカスタム分析を依頼してください。
専用の Discord チャネルで、Data Platform を構築するチームと直接質問をし、フィードバックを提供し、相互作用できます。
OVHcloud サービスについてサポートが必要な場合は、ヘルプセンターでリクエストを作成してください。
コミュニティのユーザーに参加してください。