#目的

遠隔ソースフォルダ内で同じ構造を持つソースについては、このセグメンテーションモードにより、Data Processing Engine (DPE) がフォルダ内のすべてのファイルを自動的に見つけ、特定のファイル数でタスクを作成できます。その後、「load_from.source」アクションでソースファイルを各ファイルに置き換えます。

例：毎日、ソースに新しいファイルが1つまたは複数追加されます。事前にファイル名を正確に知らずに、すべてのファイルを吸収できるようにロードアクションを設定する必要があります。

• rides_chicago_2020-01-01.csv
• rides_paris_2020-01-01.csv
• rides_tokyo_2020-01-01.csv

各タスクは異なるファイルを処理し、異なるワーカー間で作業の並列化を可能にします。

#要件

このセグメンテーションタイプを使用する前に、以下の点を確認する必要があります：

• すべてのファイルは同じ形式と構造を持つ必要があります
• すべてのファイルは同じフォルダにある必要があります
• フォルダ内に異なる構造のファイルがある場合、ファイルには特定の命名が必要です。RegExp でフィルタリングできるようにするためです。
• スキーマおよび各ファイルに存在するすべての属性/列は以下の条件を満たす必要があります：
• 半構造化形式（XML または JSON など）を除き、存在する必要があります（存在しない場合は NULL 値に置き換えられます）；
• 同じ型または構造を持つ必要があります（例：datetime 構造）

#互換性

このセグメンテーションオプションは、以下のアクションとソースのみと互換性があります：

#このタイプのセグメンテーションの使用方法

このセグメンテーションオプションを設定するには、「セグメンテーションタイプ」のドロップダウンで Based on files（ファイルに基づく）を選択します。

RegExp / 値：取得したいファイル名を識別するための RegExp を設定できます。アスタリスク（*）文字は任意の文字を検索するために使用できます（RegExp で .* に置き換えられます）。 RegExp のリストでも、正確なファイル名のハードコードされたリストでも構いません。

バケットサイズ / チャンクサイズ：各タスクで吸収するファイル数を設定します。 この値を 1 に設定することをお勧めします。ただし、数百のファイルがある場合は、各タスクのファイル数を高く設定して、タスク数を合理的な数（100 タスク未満）に保つ必要があります。

#ブループリントのルールとマッピング

Connectors では、すべての他のファイルのブループリントとして使用するファイルを分析する必要があります。 このファイルの定義を Connectors に保持することで、ブループリントのルール を維持することが重要です。

DPE では、Load アクション を作成する際に、分析されたファイルをソースとして使用します。 これにより、すべてのロードされたファイルに同じブループリントのルールが適用されます。

#背景でどのように動作するか

アクションに Based on an fixed number of files（固定数のファイルに基づく）セグメンテーションがある場合、 アクションを単独で実行するか、ワークフローを介して実行する場合、以下の手順が実行されます：

1. 隠しプリステージが、設定で指定された RegExp に対応するソース内のすべてのファイル名を取得します。

1. ジョブコントローラは、ステップ 1 で見つかったファイル名のうち、異なる値（または値のセット、chunksize 設定に依存）を持つタスクにアクションを分割します。
2. その後、各 ワーカー が タスクを順番に実行 します。 これは、タスクが数百個あっても問題ありません。アクションはワーカーの数に応じて並列化されます。

#さらに詳しく

トレーニングや技術的なサポートを受けて、ソリューションを実装するには、営業担当者にお問い合わせください。または、専門家がプロジェクトを分析するために見積もりをリクエストするには、Professional Services ページをご覧ください。

質問をする、フィードバックを提供する、または Data Platform を構築するチームと直接交流するには、専用の Discord チャネル をご利用ください。

OVHcloud サービスについてサポートが必要な場合は、Help Centre でリクエストを作成してください。

ユーザーコミュニティ に参加してください。

¹: S3 は Amazon Technologies, Inc. の商標です。OVHcloud のサービスは、Amazon Technologies, Inc. によってスポンサーされ、承認され、またはその他の方法で提携していません。