Lakehouse Manager Dataset コネクタ#

#目的

#Lakehouse Manager に接続

Lakehouse Manager テーブルと相互作用するためにコネクタを作成し、使用するには、デフォルトのデータセットまたはカスタムデータセットに接続できます。

各タイプで使用される接続文字列は以下の通りです：

from forepaas.dwh import connect

cn_default = connect("dwh/default_dataset/")
cn_custom = connect("dwh/custom_dataset_name/")

その後、cn_default.list() メソッドを使用して、Lakehouse Manager に利用可能なテーブルを確認し、cn_default.select(...) または cn_default.query(...) を使用して、希望するテーブルからデータを取得できます。

この記事の次のセクションで、詳細を確認できます。

#コネクタメソッド

#list()

データセット内のテーブルのリストを取得します。

出力

#query(sql, limit=-1, return_type='dataframe')

互換性のあるsourceに対してSQLクエリを実行し、データフレーム（デフォルト）、反復可能なカーソル、または辞書のリストを返します。

入力パラメータ

出力

#select(table_name, conds={}, limit=-1, return_type='dataframe' )

シンプルなフィルタでテーブルからデータを抽出し、データフレーム（デフォルト）、反復可能なカーソル、または辞書のリストを返します。

入力パラメータ

出力

#update(table_name, set, conds=None, ignore=False)

シンプルなパラメータを通じてUPDATESQLクエリを実行し、影響を受けた行の数を返します。

入力パラメータ

出力

#delete(table_name, conds)

特定のクエリとフィルタリング条件に基づいて削除を実行し、削除された行の数を返します。 フィルタが必要ない場合は、以下に説明するtruncateメソッドを使用してください。

入力パラメータ

出力

#truncate(table_name)

テーブルからすべての行を削除（クリア）します。

入力パラメータ

出力

#insert(table_name, rows, odku=0, returnWarnings=False)

挿入クエリを実行し、オプションでon duplicate key update（ODKU）操作を追加し、バッチの挿入に関する統計情報を返します。 ODKUオプションを有効にすると、クエリは自動的に既存の行を更新し、エラーを返す代わりに、各行に挿入する既存の主キー値に基づいて更新を実行します。

入力パラメータ

出力

#drop_table(table_name)

クエリエンジンからテーブルを削除します

入力パラメータ

出力

#get_table_schema(table_name, catalog_name, schema_name, strict=True)

テーブルスキーマをforepaas.dwh.attributes.AttributeSchemaオブジェクトのリストとして返します

入力パラメータ

出力パラメータ

例出力

[
    AttributeSchema(name='id', data_type=DataType.INT, nullable=False),
    AttributeSchema(name='name', data_type=DataType.VARCHAR, nullable=True),
    AttributeSchema(name='email', data_type=DataType.VARCHAR, nullable=False, default_value=''),
    AttributeSchema(name='created_at', data_type=DataType.TIMESTAMP, nullable=False)
]

#LogicalObject メソッド

LogicalObject メソッドを使用するには、まず以下のようにインポートする必要があります。

from forepaas.dwh.logical import LogicalObject

logical = LogicalObject() 
logical.list()

#build(objects)

Lakehouse Manager で論理的なビルドを実行します。

入力パラメータ

出力

出力例

200 # Build successful

#create_from_physical(table, dataset='default_dataset', **kwargs)

既存の物理テーブルに基づいて論理オブジェクトを作成します。

注意: 現在、Trino と PostgreSQL カタログのみで動作します。

入力パラメータ

出力

#get(name)

Lakehouse Manager から論理オブジェクトを取得します。

入力パラメータ

出力

#list(dataset_name='default_dataset')

Lakehouse Manager にあるすべての論理オブジェクトをリスト表示します。

入力パラメータ

出力

#remove(name)

Lakehouse Manager から論理オブジェクトを削除します。

入力パラメータ

出力

出力例

{'success': True, 'info': None, '_id': '690325793a04befefec45bf1', 'uid': None}

#補足ノート

PostgreSQL または Snowflake ライブラリによって収集されるメトリクスの不足により、Data Platform コネクタによって返される統計は限定的な要因に基づいて計算されます。

• エラーが発生しない場合、inserts と skipped 行は、挿入前後の総行数および提供された records (挿入するデータの長さ) に基づいて計算されます。例えば、5 行のテーブルに3行を挿入しようとし、結果が7行の場合、2行が inserted され、1行が skipped されると考えられます。一方、records は3です。
• データのバッチでエラーが発生した場合、そのバッチ全体が警告としてマークされます。
• Snowflake に関する注意: insert_many() と insert_dataframe() によって返される統計には warnings が計算されません。挿入に失敗したすべての行またはスキップされた行は skipped としてマークされます。

#さらに詳しく

当社のソリューションのトレーニングや技術的な実装についてのアシスタンスが必要な場合は、営業担当者にお問い合わせください、または当社の専門家がプロジェクトを分析するために見積もりをリクエストするには、Professional Services ページをご覧ください。

Data Platform を構築するチームと直接質問し、フィードバックを共有し、交流するには、専用の Discord チャネル をご利用ください。

OVHcloud サービスについてサポートが必要な場合は、Help Centre でリクエストを作成してください。

コミュニティ に参加してください。