Data Platform アクションコンテナに事前読み込まれたパッケージ#

#目的

すべてのアクションとワークフローは起動時にコンテナで構築され実行されます。このコンテナには事前読み込まれたパッケージが含まれています。特にカスタムアクションの場合、コードを実行するために必要なライブラリを常に手動で指定する必要はありません。

現在、Data Platform ジョブは Python 3+ にのみ対応しています。したがって、管理する必要があるデフォルトのパッケージは2つだけです。

• Python ライブラリ: カスタムアクションを作成する場合、Python ライブラリについて説明する必要はありません... 背景では、単に pip install コマンドを実行しています。
• Data Platform モジュール: コンテナのイメージを軽量に保つため、すべての Data Platform コネクタが自動的に読み込まれるわけではありません。SDK を使用して特定のコネクタを使用する場合は、内部サポートリストから必要なモジュールを指定してください。

#デフォルトの Python ライブラリ

以下は、Data Platform DPE コンテナにデフォルトでインストールされているすべての Python ライブラリと対応するバージョン番号のリストです。

nameko==2.12.0
pyopenssl==19.1.0
minio==5.0.8
bson==0.5.8
requests==2.22.0
timedelta==2019.4.13
coverage==4.5.4
pycryptodome==3.9.4
kubernetes==10.0.1
sqlalchemy==1.3.8
mysqlclient==2.0.1
prometheus_client==0.7.1
google-cloud-storage==1.36.2
pandas==1.0.0

ただし、上記のリストに加えて、任意のライブラリをインストールすることができます。カスタムアクションの設定で「要件」フィールドに追加することで、UI または JSON ファイルのいずれかで行うことができます。単に pip install コマンドを使用する際と同じ形式で、ライブラリのバージョンを指定します。

Pypi の公式ウェブサイトですべての Python ライブラリを確認する

#Data Platform モジュール

Data Platform Data Processing Engine を使用して新しいカスタムアクションを作成する場合、外部データソースに接続し、さまざまなファイル形式を使用することになります。Data Platform は、コード内でデータ形式とコネクタの種類の両方を処理するための事前定義されたモジュールのリストを保持しています。

デフォルトで事前インストールされているモジュールのリストには、主に汎用ファイル形式とプラットフォームの他のコンポーネント（データウェアハウスとデータストア）のサポートが含まれます: mySQL、S3¹、CSV、XML、XLS、XLSX、JSON。Parquet ファイル形式は、モジュールのサイズ（約400 MB）がワーカーのビルドに遅延を引き起こす可能性があるため、デフォルトでインストールされていません。

カスタムアクション用の Data Platform モジュールをインストールするには、カスタムアクション設定の GUI の 要件 セクションから行うか、アクションの JSON 設定でモジュールのリストを直接入力できます。

または、アクションの JSON 設定で modules キーの下にモジュールのリストを直接入力できます。

{
  "modules": [
    {
      "type": "action",
      "id": "aggregate",
      "version": "latest"
    },
    { ... }
  ],

以下は、DPE ワーカーにインストールできる 追加の Data Platform モジュールの網羅的なリスト です（これは、Lakehouse Manager のソースのマーケットプレイスで見つけることができるリストに対応しています）。

#さらに詳しく

トレーニングや技術的なサポートを受けて当社のソリューションを実装するには、営業担当者にお問い合わせください、または Professional Services ページを訪れて、専門家によるプロジェクト分析と見積もりを依頼してください。

Data Platform を構築するチームと直接やり取りし、質問をしたり、フィードバックを提供したり、Discord の専用 チャネル に参加してください。

OVHcloud サービスについてサポートが必要な場合は、ヘルプセンター でリクエストを作成してください。

ユーザーコミュニティ に参加してください。

¹: S3 は Amazon Technologies, Inc. の商標です。OVHcloud のサービスは、Amazon Technologies, Inc. によってスポンサーされ、推奨され、またはその他の方法で提携していません。