Data Platform Buckets コネクタ#

#目的

#Datastore に接続する

Datastore と相互作用するには、まず以下のコードに示すように Datastore に接続する必要があります。

from forepaas.dwh import connect

cn_datastore = connect('data_store')

その後、cn_datastore.list() メソッドを使用して Datastore に利用可能なバケットを確認し、選択したバケットに接続して相互作用できます。

Datastore 内の特定のバケットに直接接続することもできます。以下のコードに示すようにします。

from forepaas.dwh import connect

bucket_name = "name"
cn_bucket = connect('data_store/' + bucket_name)

Datastore コネクタは Data Store Connector オブジェクトを返し、バケットに直接接続すると Bucket Connector オブジェクトが返されます。

各コネクタのメソッドについての詳細については、この記事の次のセクションを参照してください。

#Datastore コネクタのメソッド

#datastore.list(return_type = 'array')

Datastore 内のすべてのバケットをリスト表示します。

入力パラメータ

出力

#datastore.get_buckets()

Datastore からすべてのバケットを取得します。

出力

#datastore.get_bucket(name)

名前からバケットインスタンスを取得します。

入力パラメータ

出力

#datastore.create_bucket(name)

Data Store にバケットを追加します。

入力パラメータ

出力

#datastore.remove_bucket(name)

Data Store からバケットを削除します。

入力パラメータ

出力

#datastore.bucket_exists(name)

バケットが存在するかどうかを確認します。

入力パラメータ

出力

#バケットコネクタメソッド

#bucket.list(bool metadata=True, bool recursive=True, **kwargs)

Data Storeのバケットからファイルをリスト表示します。

入力パラメータ

出力

短い例

from forepaas.dwh.connect import connect
import logging

bucket_name = "name"
bucket = connect('data_store/' + bucket_name)
files = bucket.list()
logger.info(f"Bucket contents: {files}")

#bucket.list_filename(return_type='array', contains='', recursive=True, **kwargs)

Data Storeのバケットからファイル名をリスト表示します。

入力パラメータ

出力

短い例

filenames = bucket.list_filename()
logger.info(f"Filenames: {filenames}")

#bucket.get(file_name, **kwargs)

Data Storeのバケットからファイルの生データを取得します。

入力パラメータ

出力

短い例

file_data = bucket.get('uploads/file.csv')
logger.info(f"Stream: {file_data.stream(1024)}")

#bucket.fget(object_name, file_path, **kwargs)

Data Storeのバケットからオブジェクトをローカルパスに取得します。

入力パラメータ

出力

短い例

bucket.fget("uploads/file.csv", "/tmp/file.csv")
logger.info("File downloaded to /tmp/file.csv")

#bucket.put(object_name, data, int length, **kwargs)

オブジェクトをData Storeのバケットにアップロードします。

入力パラメータ

出力

短い例

import io
data = io.BytesIO(b"name,age\nJohn,30")
etag = bucket.put("people.csv", data, data.getbuffer().nbytes)
logger.info(f"Uploaded with ETag: {etag}")

#bucket.fput(object_name, file_path, **kwargs)

ファイルをData Storeのバケットにアップロードします。

入力パラメータ

出力

短い例

bucket.fput("people.csv", "/tmp/people.csv")
logger.info("Uploaded /tmp/people.csv")

#bucket.put_request(url, path, data={}, method='GET', headers={}, **kwargs)

HTTPリクエストからオブジェクトを取得し、Data Storeのバケットにアップロードします。

入力パラメータ

短い例

bucket.put_request(
    url="https://example.com/file.csv",
    path="remote/file.csv"
)
logger.info("File fetched from URL and uploaded to bucket.")

#bucket.delete(path, **kwargs)

Data Storeのバケット内の複数/単一のファイルを削除します。

入力パラメータ

短い例

bucket.delete("people.csv")
logger.info("File deleted from bucket.")

#bucket.fcopy_to(new_bucket, object_name, object_source, **kwargs)

Data Store内のバケットから別のバケットにファイルをコピーします。

入力パラメータ

短い例

bucket.fcopy_to("archive", "people_backup.csv", "people.csv")
logger.info("File copied to archive bucket.")

#bucket.exists(filename, **kwargs)

バケット内にファイルが存在するかどうかを確認します。

入力パラメータ

出力

短い例

if bucket.exists("people.csv"):
    logger.info("File exists.")

#bucket.get_content(file_name, **kwargs)

バケットからファイルの全コンテンツを取得します。

入力パラメータ

出力

短い例

content = bucket.get_content("people.csv")
logger.info(f"File content: {content.decode()}")

#bucket.get_path(path)

バケット内のオブジェクトの完全修飾パス（URLまたは参照）を返します。

入力パラメータ

出力

短い例

full_path = bucket.get_path("people.csv")
logger.info(f"Full path: {full_path}")

#bucket.remove_path(path)

バケットから特定のパスを削除します。

入力パラメータ

出力

短い例

bucket.remove_path("people.csv")
logger.info("Removed specific path from bucket.")

#非推奨のメソッド

#追加のメソッド

Data Platform Datastore は Minio テクノロジーに基づいて構築されています。SDK 関数の高度な設定についてさらに詳しく知りたい場合は、Minio テクニカルドキュメントを参照してください。

#さらに学ぶ

当社のソリューションのトレーニングや技術的な実装支援が必要な場合は、営業担当者にお問い合わせください、または Professional Services ページをご覧になり、見積もりをリクエストしてください。当社の専門家がプロジェクトを分析してくださいます。

Discord チャネルで Data Platform を構築するチームと直接質問したり、フィードバックを送信したり、交流したりしてください。

OVHcloud サービスについてサポートが必要な場合は、Help Centreでリクエストを作成してください。

ユーザーコミュニティに参加してください。