Data Platform アクションコンテナに事前ロードされたパッケージ#

#目的

すべてのアクションとワークフローは起動時に事前にパッケージがプリロードされたコンテナで構築され、実行されます。特にカスタムアクションの場合、コードを実行するために必要なライブラリを常に手動で指定する必要がありません。

現在、Data PlatformのジョブはPython 3+とのみ互換性があります。したがって、管理する必要があるデフォルトパッケージは2つだけです。

• Pythonライブラリ: カスタムアクションを作成する場合、Pythonライブラリについて説明する必要はありません... 背景では、単にpip installコマンドを実行しています。
• Data Platformモジュール: コンテナのイメージを軽量に保つため、Data Platformのすべてのコネクタは自動的に読み込まれません。SDKを使用して特定のコネクタを使用するには、内部サポートリストから必要なモジュールを指定してください。

#デフォルトのPythonライブラリ

Below is the list of all the Python libraries and corresponding version number installed by default in the Data Platform DPE containers:

nameko==2.12.0
pyopenssl==19.1.0
minio==5.0.8
bson==0.5.8
requests==2.22.0
timedelta==2019.4.13
coverage==4.5.4
pycryptodome==3.9.4
kubernetes==10.0.1
sqlalchemy==1.3.8
mysqlclient==2.0.1
prometheus_client==0.7.1
google-cloud-storage==1.36.2
pandas==1.0.0

しかし、上記のリストに加えて、他のライブラリをインストールすることもできます。カスタムアクションの設定で「要件」フィールドにライブラリを追加することで、UIまたはJSONファイルで行うことができます。ライブラリのバージョンを指定するには、pip installコマンドを使用する際と同じ形式を使用してください。

Pypiの公式ウェブサイトで、すべてのPythonライブラリを確認する

#Data Platformモジュール

Data Platform Data Processing Engine を使用して新しいカスタムアクションを作成する場合、外部データソースに接続し、さまざまなファイル形式を使用することになります。Data Platform には、コード内でデータ形式と接続タイプの両方を処理するためのモジュールの事前定義されたリストが用意されています。

デフォルトで事前インストールされているモジュールのリストには、主に汎用ファイル形式やプラットフォーム（データウェアハウス＆データストア）の他のコンポーネントに対するサポートが含まれます：mySQL、S3¹、CSV、XML、XLS、XLSX、JSON。Parquetファイル形式は、モジュールのサイズ（約400 MB）が大きいため、デフォルトではインストールされません。これは、ワーカーのビルドに遅延を引き起こす可能性があるためです。

Data Platform モジュールをカスタムアクションにインストールするには、カスタムアクション設定の GUI の Requirements セクションから行うことができます。例えば、SDK 関数を使用して外部の Dropbox ソースに接続する場合、Dropbox モジュールをインストールしていないと、以下のようにカスタムアクションを設定しない限り、コードがエラーをスローします。

または、アクションのJSON設定のmodulesキーの下にモジュールのリストを直接入力することもできます。

{
  "modules": [
    {
      "type": "action",
      "id": "aggregate",
      "version": "latest"
    },
    { ... }
  ],

以下は、DPEワーカーにインストール可能な追加モジュールの網羅的なリストです（これは、Lakehouse Managerのソースのマーケットプレイスで見つけることができるリストに対応しています）。

#さらに進む

もしトレーニングや技術的なサポートが必要な場合は、営業担当者にお問い合わせください、またはこのリンクをクリックして見積もりを取得し、プロフェッショナルサービスの専門家にプロジェクトのカスタム分析を依頼してください。

質問やフィードバックを送信し、Data Platformを構築するチームと直接交流するには、専用のDiscordチャネルをご利用ください。

OVHcloudサービスについてサポートが必要な場合は、ヘルプセンターでリクエストを作成してください。

当社のユーザーコミュニティにご参加ください。

¹: S3 は Amazon Technologies, Inc. の商標です。OVHcloud のサービスは、Amazon Technologies, Inc. によってスポンサーされ、承認され、またはその他の方法で提携されているものではありません。