データを自動的にクリーンアップするためのブループリントルール
デフォルトのブループリントルールは、日付の書式設定などの簡単なクリーンアップロジックを適用し、データの準備を支援します
目的
プラットフォームには、簡単なクリーンアップロジック(日付の書式設定、千の区切りなど)からなる「ブループリントルール」のデフォルト設定があり、ユーザーが簡単なデータ準備を実行するのを支援します。プラットフォームストアから利用可能な変換を選択し、適用条件が満たされた場合に適用できます。
プラットフォームを使用する際にブループリントルールを使用することは必須ではありません。使用した場合、ルールは自動的にData Processing Engine Load actionsに追加され、データをデータセット内に取り込むために定義します。
ルールの動作方法
ルールは各行に独立して適用され、いくつかのことが可能です。
条件が指定されている場合、ルールはconditionとcondition_value(s)で表現された特定の条件下でのみ適用されます。
変換が指定されている場合、各行に対して変換アクションが実行されます。そうでない場合、フィルタリングルール(keep)とみなされます。
条件が指定されていない場合、デフォルトで設定される条件はALLであり、任意の行が許可されます。
変換も条件も指定されていない場合、デフォルト変換とみなされます。または、変換が指定されていない場合と条件が1つある場合、デフォルトアクションは保持です。アクションは条件で定義されたルールに応答する行のみに適用されます。
フィールド
ブループリントルールの設定
ルールを設定するには、3つのステップが必要です:
- 情報: 属性の名前
- 変換: 条件が確認された場合、データに適用する変換アクション(プラットフォームストアから選択可能)
- 条件: 条件に適用するルール
属性にルールを追加するには、関連フィールドで次のボタンをクリックします:
変換
プラットフォームストアで利用可能な変換は以下の通りです:
-
置換:値を単一の値に置き換えます
-
部分文字列:値が切り詰められます
-
日付形式:日付形式を置き換えます
-
行を保持:一致する値を保持します
-
行をスキップ:一致する値をスキップします
-
エラーをスロー:一致する値はエラーを引き起こします
-
部分文字列を置換:一致する部分文字列を置き換えます
-
正規表現を適用:一致する値に新しい正規表現が適用されます
-
ワークフローを停止:進行中のワークフローを停止します
条件
利用可能な条件は以下の通りです:
プラットフォームでは、選択した変換に適用できる多様な条件を提供します。リストには以下が含まれます:等しい、等しくない、間、間でない、より小さい、以下、より大きい、以上、REGEXP、NOT REGEXP、数値である、数値ではない、日付である、日付ではない、nullである、nullではない
変換と条件が設定されると、ルールは選択した属性に適用されます。 🙌🏻
リファレンス
以下の名前は、ルール自体に記載されている値です。したがって、ルールをJSONとして編集する場合、例えばLoad advanced modeまたはAggregate advanced modeで使用するのはこれらの値です。
Condition list
Transformation list
-
keep: 行を保持します
-
skip: 行をスキップします
-
default: 値をaction_valueに置き換えます。 日付の場合、以下があります:
$todayは yyyy-mm-dd を返します$nowは yyyy-mm-dd hh:mm:ss を返します$yesterdayは yyyy-mm-dd を返します
-
regexp_replace: 正規表現action_values[0]に対応する値をaction_values[1]に置き換えます
-
replace: action_values[0]に対応する値をaction_values[1]に置き換えます
-
substring / substr:
-
action_values[0] >= 0 の場合: action_values[0]番目の文字から開始します
-
action_values[0] < 0 の場合: action_values[0]の最後の文字のみを考慮します
-
action_values[1]が記入されている場合: 2番目の数字は、希望する最大文字数を表します
-
-
date_replace: 日付形式action_values[0]をaction_values[1]に置き換えます。 action_valuesの例:
["%d/%m/%Y", "%Y-%m-%d"]- 下記の日付形式ディレクティブを参照してください
-
add: 複数のフィールドまたはハード数値を追加し、action_valuesの各値が行に利用可能な属性であるかどうかを自動的に検出します。そうでない場合は数値とみなします。 action_valuesの例:
["ca_ht", "taxes"]["nb_clics", 1]
-
sub: action_valuesに存在する他のすべてのデータからaction_values[0]を引きます
-
mul: action_values[0]をaction_values[1]で掛けます
-
div: action_values[0]をaction_values[1]で割ります
-
mod: action_values[0]をaction_values[1]で割った余りを求めます
-
concat: ハード文字列と複数のフィールドを連結します。 action_valuesの各要素は、行に利用可能な列の名前であるかどうかを検出します。そうでない場合はハード文字列とみなします。 action_valuesの例:
["site_name", " - ", "country"]["civilite", " name", "lastname"]
-
ceil: action_valueを切り上げます
-
floor: action_valueを切り捨てます
-
disaggregate / split: フィールドに複数の値が含まれている場合、それらを別々の行に分割するために使用されます。 DPEアクションごとに1つのdisaggregateルールのみ存在でき、このルールは常に最後に適用されます。 フィールドはaction_valueの文字で分割され、分割された各要素から空でない値のみが保持されます。
-
action_error: アクションにエラーを引き起こし、その結果としてすべての行が偽であるとみなします
-
stop_workflow: ワークフローを停止します
Date format directives
Rule examples
日付形式を置き換えます:
year属性に1を追加しますが、2015年または2016年の行のみに適用します:
yearを2015年に設定しますが、2015年より前の行のみに適用します:
date属性を今日の日付に設定します:
ケルビンから摂氏に温度を変換します:
タイムスタンプを正規化します:
さらに進む
当社のソリューションを実装するためのトレーニングや技術サポートが必要な場合は、営業担当者にお問い合わせください、またはこのリンクをクリックして見積もりを依頼し、当社のプロフェッショナルサービスの専門家にプロジェクトのカスタム分析を依頼してください。
専用DiscordチャネルでData Platformを構築するチームと直接質問し、フィードバックを共有し、交流してください。
OVHcloudサービスについてサポートが必要な場合は、ヘルプセンターでリクエストを作成してください。
ユーザーコミュニティに参加してください。

