SDK リファレンス: connect と bulk_insert#

#目的

Custom Actions SDKのすべてのスクリプトが始まる2つの関数: connect()はデータセット、テーブル、バケット、またはソースに接続するためのものであり、bulk_insert()はデータフレームを書き戻すためのものです。

#connect 関数

connect()関数は、ほとんどの場合、Projectとやり取りするための主要なエントリーポイントです。

この関数は接続文字列をパラメータとして受け取り、Connector オブジェクトを返します。 例えば:

from forepaas.dwh import connect

connection_string = "dwh/default_dataset/"
connector_default = connect(connection_string)

接続文字列を変更して、Data Platform 環境内の異なるソースに接続します。 その結果、connect(...)によって返されるオブジェクトと利用可能なメソッドは異なります。

Connectors and Connection Strings 記事では、各オプションについてより詳細に説明しています。以下に、2つの一般的なコネクタのメソッドリストを示します:

• Lakehouse Manager データセットコネクタ
• Data Platform バケットコネクタ

#bulk_insert 関数

bulk_insert()関数は、SDKの非常に重要な部分です。この関数を使用して、データをテーブルに挿入できます。以下のコードのように、この関数はデータセットコネクタ、テーブル名、およびpandas DataFrameをパラメータとして受け取ります。

import pandas as pd
from forepaas.dwh import connect
from forepaas.dwh import bulk_insert

# make connection to the default dataset
cn = connect("dwh/default_dataset/")

# extract data from the table with no SQL required
df = cn.select("stations_rides")

# perform your custom transform in the dataframe
df.loc[df["station_name"] == 'Harlem-Lake', "rides"] = 0

# reinsert your dataframe in the destination table
stats = bulk_insert(cn, "stations_rides", df) 

#bulk_insert(connector, table, data, source_default_schema=, batch_size=None)

入力パラメータ

出力

#PySpark サポート

Data Platform は、PySpark を使用してデータを処理するための広範なサポートを提供しています。 すべては、Connector オブジェクトのSpark互換メソッドを通じて行われます。 さらに詳しい情報については、PySpark 記事をご覧ください。

#さらに詳しく

トレーニングや技術的なサポートが必要な場合は、営業担当者にお問い合わせください、またはプロフェッショナルサービスページをご覧ください。見積もりをリクエストして、専門家がプロジェクトを分析してください。

Data Platformを構築するチームと直接質問したり、フィードバックを送信したり、やり取りしたりするには、専用のDiscord チャンネルをご利用ください。

OVHcloudサービスについてサポートが必要な場合は、ヘルプセンターでリクエストを作成してください。

ユーザーコミュニティに参加してください。