For AI agents: the complete documentation index is available at https://docs.dataplatform.ovh.net/ja/llms.txt, the full documentation bundle is available at https://docs.dataplatform.ovh.net/ja/llms-full.txt, and this page is available as Markdown at https://docs.dataplatform.ovh.net/ja/tutorials-segmentation-files.md.
  • 🇯🇵 日本語

    • ファイルセット上のセグメンテーションの概要

    遠隔ソースフォルダ内で同じ構造を持つソースについては、このセグメンテーションモードにより、Data Processing Engine (DPE) がフォルダ内のすべてのファイルを自動的に見つけ、特定の数のファイルを持つタスクを作成できます

    目的

    遠隔ソースフォルダ内で同じ構造を持つソースについては、このセグメンテーションモードにより、Data Processing Engine (DPE) がフォルダ内のすべてのファイルを自動的に見つけ、特定の数のファイルを持つタスクを作成できます。これにより、「load_from.source」アクション内のソースファイルが、各ファイルごとに置き換えられます。

    例: 毎日、ソースに新しいファイルが1つまたは複数追加されます。事前にファイル名を正確に知らずに、すべての受信ファイルをロードアクションで吸収する必要があります。

    • rides_chicago_2020-01-01.csv
    • rides_paris_2020-01-01.csv
    • rides_tokyo_2020-01-01.csv

    各タスクは異なるファイルを処理し、異なるワーカー間で作業の並列化を可能にします。

    必要条件

    このセグメンテーションタイプを使用する前に、以下の点を確認する必要があります:

    • すべてのファイルは同じ形式と構造を持つ必要があります
    • すべてのファイルは同じフォルダにある必要があります
    • フォルダ内に異なる構造のファイルが存在する場合、ファイルはRegExpでフィルタリングできるように特定の名前を付ける必要があります。
    • スキーマ内および各ファイル内に存在するすべての属性/列は以下の条件を満たす必要があります:
    • (XMLやJSONのような半構造化形式を除く)存在する必要があります (存在しない場合はNULL値に置き換えられます);
    • 同じ型または構造を持つ必要があります。 (例: 日時構造)

    互換性

    このセグメンテーションオプションは、以下のアクションとソースのみと互換性があります:

    アクションタイプソースタイプ
    Load; CustomS31 (ファイルアップロード、データストア、AWSなど); FTP; SFTP

    このタイプのセグメンテーションの使用方法

    このセグメンテーションオプションを設定するには、「セグメンテーションタイプ」ドロップダウンでBased on filesを選択します。

    このタイプのセグメンテーションの使用方法 — ファイル設定

    RegExp / Values: 取得したいファイル名を識別するためのRegExpを設定できます。アスタリスク(*)文字は任意の文字を検索するために使用できます (RegExp内では: .* に置き換えられます)。 RegExpのリストでも、正確なファイル名のハードコードされたリストでも構いません。

    Bucket size / Chunksize: 各タスクで吸収するファイルの数を設定します。 この値を1に設定することをお勧めします。ただし、数百のファイルがある場合は、タスクの数を合理的な範囲 (100タスク未満) に保つために、各タスクに対してより多くのファイルを設定する必要があります。

    ブループリントルールとマッピング

    Connectors内では、すべての他のファイルのブループリントとして使用される1つのファイルを分析する必要があります。 このファイルの定義をConnectorsに保持することで、ブループリントルールを維持することが重要です。

    DPEでは、Loadアクションを作成する際に、分析されたファイルをソースとして使用します。 これにより、すべてのロードされたファイルに同じブループリントルールが適用されます。

    背景でどのように動作するか

    アクションにBased on an fixed number of filesのセグメンテーションがある場合、 アクションを単独で実行するか、ワークフローを介して実行する場合、以下の手順が実行されます:

    1. 隠しプリステージが、設定内のRegExpに対応するソース内のすべてのファイル名を取得します。
    prestage
    1. ジョブコントローラは、アクションを複数のタスクに分割し、各タスクには、ステップ1で見つかったファイル名のうち異なる値 (またはchunksize設定に依存する値のセット) が割り当てられます。
    2. それぞれのワーカーが各タスクを順番に実行します。 これは、タスクが数百ある場合でも問題ありません。アクションはワーカーの数に応じて並列化されます。

    さらに深く掘り下げる

    当社のソリューションを実装するためのトレーニングや技術サポートが必要な場合は、営業担当者にお問い合わせください、またはこのリンクをクリックして、プロフェッショナルサービスの専門家にプロジェクトのカスタム分析を依頼し、見積もりを受け取ってください。

    Discordの専用チャネルで、Data Platformを構築しているチームと直接質問し、フィードバックを共有し、交流してください。

    OVHcloudサービスについてサポートが必要な場合は、ヘルプセンターでリクエストを作成してください。

    ユーザーコミュニティに参加してください。

    1: S3はAmazon Technologies, Inc.の商標です。OVHcloudのサービスは、Amazon Technologies, Inc.によってスポンサーされ、承認され、またはその他の方法で提携されていません。