データを自動的にクリーンアップするためのブループリントルール
デフォルトのブループリントルールは、日付の書式設定などの簡単なクリーンアップロジックを適用し、データの準備をサポートします
目的
プラットフォームには、日付の書式設定、千の区切りなどの簡単なクリーンアップロジックからなる「ブループリントルール」のデフォルト設定があり、ユーザーが簡単なデータ準備を実行するのを支援します。プラットフォームストアから利用可能な変換を選択し、適用条件が満たされた場合に適用できます。
プラットフォームを使用する際にブループリントルールを使用することは必須ではありません。使用する場合、データをデータセット内に取り込むために定義するData Processing Engine Load actionsに自動的にルールが追加されます。
ルールの動作
ルールは各行に独立して適用され、いくつかのことが可能です。
条件が指定されている場合、ルールはconditionとcondition_value(s)で表現された特定の条件下でのみ適用されます。
変換が指定されている場合、各行に対して変換アクションが実行されます。そうでない場合、フィルタリングルール(keep)とみなされます。
条件が指定されていない場合、デフォルトで設定される条件はALLであり、任意の行を許可します。
変換も条件も指定されていない場合、デフォルトの変換とみなされます。ただし、変換が指定されていない場合、条件が1つある場合、デフォルトのアクションはkeepです。アクションは、条件によって定義されたルールに応答する行にのみ適用されます。
フィールド
ブループリントルールの設定
ルールを設定するには、3つのステップが必要です。
- 情報: 属性の名前
- 変換: 条件が確認された場合、データに適用する変換アクション(プラットフォームストアから選択可能)
- 条件: 条件に適用するルール
属性にルールを追加するには、関連フィールドで次のボタンをクリックします。
変換
プラットフォームストアで利用可能な変換は以下の通りです。
-
Replace by: 値を単一の値に置き換えます
-
Substring: 値は切り詰められます
-
Date format: 日付形式を置き換えます
-
Keep line: 一致する値を保持します
-
Skip line: 一致する値をスキップします
-
Throw error: 一致する値はエラーを引き起こします
-
Replace substring: 一致する部分文字列を置き換えます
-
Apply regexp: 新しい正規表現が一致する値に適用されます
-
Stop workflow: 進行中のワークフローを停止します
条件
利用可能な条件は以下の通りです。
プラットフォームでは、選択した変換に適用できるさまざまな条件を提供します。リストには以下が含まれます:Equal, Not Equal, Between, Not Between, Lower than, Lower or Equal than, Greater than, Greater or Equal than, REGEXP, NOT REGEXP, Is a number, Is not a number, Is a date, Is not a date, Is null, Is not null
変換と条件が設定されると、ルールは選択した属性に適用されます。
リファレンス
以下の名前は、ルール自体に記載されている値です。したがって、ルールをJSONとして編集する場合、例えばLoad advanced modeまたはAggregate advanced modeで使用する値です。
Condition list
Transformation list
-
keep: 行を保持します
-
skip: 行をスキップします
-
default: 値を action_value に置き換えます。 日付の場合、以下があります:
$todayは yyyy-mm-dd を返します$nowは yyyy-mm-dd hh:mm:ss を返します$yesterdayは yyyy-mm-dd を返します
-
regexp_replace: 正規表現 action_values[0] に対応する値を action_values[1] に置き換えます
-
replace: action_values[0] に対応する値を action_values[1] に置き換えます
-
substring / substr:
-
action_values[0] >= 0 の場合: action_values[0] 番目の文字から開始します
-
action_values[0] < 0 の場合: action_values[0] の最後の文字のみを考慮します
-
action_values[1] が記入されている場合: 2番目の数字は、希望する最大文字数を表します
-
-
date_replace: 日付形式 action_values[0] を action_values[1] に置き換えます。 action_values の例:
["%d/%m/%Y", "%Y-%m-%d"]- 下記の日付形式ディレクティブを参照してください
-
add: 複数のフィールドまたはハード数値を追加し、各 action_values の値が行に利用可能な属性かどうかを自動検出します。そうでない場合は数値とみなします。 action_values の例:
["ca_ht", "taxes"]["nb_clics", 1]
-
sub: action_values[0] を action_values に含まれる他のすべてのデータから引きます
-
mul: action_values[0] を action_values[1] で掛けます
-
div: action_values[0] を action_values[1] で割ります
-
mod: action_values[0] を action_values[1] で割った余りを求めます
-
concat: ハード文字列と複数のフィールドを連結します。 action_values の各要素は、行に利用可能な列の名前かどうかを検出します。そうでない場合はハード文字列とみなします。 action_values の例:
["site_name", " - ", "country"]["civilite", " name", "lastname"]
-
ceil: action_value を切り上げます
-
floor: action_value を切り捨てます
-
disaggregate / split: フィールドに複数の値が含まれている場合、それらを別々の行に分割するために複数の行を作成するために使用されます。 DPE アクションごとに1つだけ disaggregate ルールがあり、このルールは常に最後に適用されます。 フィールドは action_value の文字で分割され、分割された各要素から空でない値のみが保持されます。
-
action_error: アクションにエラーを引き起こし、その結果、すべての行が偽であるとみなされます
-
stop_workflow: ワークフローを停止します
Date format directives
Rule examples
日付形式を置き換えます:
year 属性に1を追加しますが、2015年または2016年の行のみに適用します:
year を 2015 に設定しますが、2015年より前の行のみに適用します:
date 属性を今日の日付に設定します:
ケルビンから摂氏に温度を変換します:
タイムスタンプを正規化します:
さらに進む
トレーニングや技術的なサポートを受けてソリューションを実装するには、営業担当者にお問い合わせください、またはProfessional Servicesページを訪れて、見積もりを依頼し、専門家がプロジェクトを分析するようにしてください。
質問をする、フィードバックを提供し、Data Platformを構築するチームと直接交流するには、専用のDiscord チャネルを利用してください。
OVHcloudサービスについてサポートが必要な場合は、Help Centreでリクエストを作成してください。
ユーザーコミュニティに参加してください。

