Lakehouse Manager Dataset コネクタ#

#目的

#Lakehouse Manager に接続する

Lakehouse Manager テーブル と相互作用するためにコネクタを作成し、それを使用するには、デフォルトのデータセット または カスタムデータセット に接続できます。

以下に、各タイプで使用される接続文字列を示します。

from forepaas.dwh import connect

cn_default = connect("dwh/default_dataset/")
cn_custom = connect("dwh/custom_dataset_name/")

その後、cn_default.list() メソッドを使用して、Lakehouse Manager に利用可能なテーブルを確認できます。その後、cn_default.select(...) または cn_default.query(...) を使用して、希望するテーブルからデータを取得できます。

この記事の次のセクションで、詳細を確認できます。

#コネクタメソッド

#list()

データセット内のテーブルのリストを取得します。

出力

#query(sql, limit=-1, return_type='dataframe')

互換性のあるsource上でSQLクエリを実行し、データフレーム（デフォルト）、イテラブルカーソル、または辞書のリストを返します。

入力パラメータ

出力

#select(table_name, conds={}, limit=-1, return_type='dataframe' )

シンプルなフィルタでテーブルからデータを抽出し、データフレーム（デフォルト）、イテラブルカーソル、または辞書のリストを返します。

入力パラメータ

出力

#update(table_name, set, conds=None, ignore=False)

シンプルなパラメータを通じてUPDATESQLクエリを実行し、影響を受けた行の数を返します。

入力パラメータ

出力

#delete(table_name, conds)

特定のクエリとフィルタリング条件に基づいて削除を実行し、削除された行の数を返します。 フィルタが必要ない場合は、以下に説明するtruncateメソッドを使用してください。

入力パラメータ

出力

#truncate(table_name)

テーブルからすべての行を削除（クリア）します。

入力パラメータ

出力

#insert(table_name, rows, odku=0, returnWarnings=False)

挿入クエリを実行し、オプションでon duplicate key update（ODKU）操作を追加し、バッチの挿入に関する統計を返します。 ODKUオプションを有効にすると、クエリは自動的に既存の行を更新し、エラーを返す代わりに、各行に挿入する既存のプライマリキー値に基づいて更新を実行します。

入力パラメータ

出力

#drop_table(table_name)

クエリエンジンからテーブルを削除します

入力パラメータ

出力

#get_table_schema(table_name, catalog_name, schema_name, strict=True)

テーブルスキーマをforepaas.dwh.attributes.AttributeSchemaオブジェクトのリストとして返します

入力パラメータ

出力パラメータ

例出力

[
    AttributeSchema(name='id', data_type=DataType.INT, nullable=False),
    AttributeSchema(name='name', data_type=DataType.VARCHAR, nullable=True),
    AttributeSchema(name='email', data_type=DataType.VARCHAR, nullable=False, default_value=''),
    AttributeSchema(name='created_at', data_type=DataType.TIMESTAMP, nullable=False)
]

#LogicalObject メソッド

LogicalObject メソッドを使用するには、まず以下のようにインポートする必要があります。

from forepaas.dwh.logical import LogicalObject

logical = LogicalObject() 
logical.list()

#build(objects)

Lakehouse Manager で論理的なビルドを実行します。

入力パラメータ

出力

出力例

200 # Build successful

#create_from_physical(table, dataset='default_dataset', **kwargs)

既存の物理テーブルに基づいて論理オブジェクトを作成します。

注意: 現在、Trino および PostgreSQL カタログのみで動作します。

入力パラメータ

出力

#get(name)

Lakehouse Manager から論理オブジェクトを取得します。

入力パラメータ

出力

#list(dataset_name='default_dataset')

Lakehouse Manager にあるすべての論理オブジェクトをリスト表示します。

入力パラメータ

出力

#remove(name)

Lakehouse Manager から論理オブジェクトを削除します。

入力パラメータ

出力

出力例

{'success': True, 'info': None, '_id': '690325793a04befefec45bf1', 'uid': None}

#補足情報

PostgreSQL または Snowflake ライブラリによって収集されるメトリクスの不足により、Data Platform コネクタによって返される統計は限定的な要因に基づいて計算されます。

• エラーが発生しない場合、inserts および skipped 行は、挿入前後の総行数および提供された records (挿入するデータの長さ) に基づいて計算されます。例えば、5 行のテーブルに3行を挿入しようとし、結果が7行の合計になった場合、2行が inserted され、1行が skipped されたと考えられます。一方、records は3です。
• データのバッチでエラーが発生した場合、そのバッチ全体が警告としてマークされます。
• Snowflake に関する注意: insert_many() および insert_dataframe() によって返される統計には warnings が計算されません。挿入に失敗したすべての行またはスキップされた行は skipped としてマークされます。

#さらに詳しく

当社のソリューションを実装するためのトレーニングや技術サポートが必要な場合は、営業担当者にお問い合わせください、または このリンク をクリックして見積もりを受け取り、当社のプロフェッショナルサービスの専門家にプロジェクトのカスタム分析を依頼してください。

Discord の専用 チャネル で Data Platform を構築するチームと直接質問し、フィードバックを共有し、交流してください。

OVHcloud サービスについてサポートが必要な場合は、ヘルプセンター でリクエストを作成してください。

ユーザーコミュニティ に参加してください。