Load PySpark アクション
データ処理システムにおける最初のステップとして、接続されたソースからのデータに対して他のプロセスを実行する前に必要です
目的
Load PySpark アクションは、ソースからの生データを抽出し、データウェアハウスの主要テーブルに挿入します Apache Spark™ を使用して。これは、接続されたソースからのデータに対して他のプロセスを実行する前に、通常、データ処理システムにおける最初のステップとして必要です。
言い換えれば、Connectors を通じてコネクタを設定した場合、プロジェクトにはソースに接続する情報とそのメタデータが含まれていますが、Load PySpark アクションを使用して実際にロードするまで、実際のデータは含まれていません。
Load PySpark アクションは、次のソースコネクタとのみ互換性があります: MySQL、PostgreSQL、Snowflake、Trino、AWS S31、Microsoft Azure Blob Storage、Data Platform Buckets、File Upload、および S3。
Load PySpark アクションの設定
Load PySpark アクションを新規作成するには、Data Processing Engine (DPE) の Actions タブに移動し、New Action をクリックし、Load PySpark アクションを選択します。
ソースと宛先を選択
Load PySpark アクションを設定するには、まず Sources タブの Connectors で既に設定した ソース のリストから選択します。
次に、データを送信する 宛先 テーブルを選択します。ソースと同様に、テーブルは事前に Lakehouse Manager の Tables タブで設定する必要があります。データモデルを構築していない場合、テーブルはプラットフォームの他のコンポーネントからアクセスできません。
属性をマッピング
ソースと宛先が選択されたら、システムは、宛先テーブルの宛先属性を、生データソースで識別した異なる列と自動的にマッピングします。
下の画像では、date 属性の隣にメモ帳のアイコンの横に '1' の値があることがわかります。これは、Connectors で定義された データ検証ルール、またはブループリントルール の数を示します。データをロードする際に自動的に適用されます。ブループリントルール を使用すると、ユーザーは null / 空のセルのような無効なデータを迅速にフィルタリングしたり、日付や通貨のような値を再フォーマットしたりできます。
注意: 宛先テーブルに直接 生テキストを挿入 したい場合があります。例えば、データポイントの数をカウントしたり、後で集計テーブルで使用するラベルで特定のソースにタグを付けたい場合などです。そのためには、< txt > を選択して、ソース属性を生テキスト入力フィールドに設定します。
アクションの設定を構成
属性のマッピングに満足したら、設定タブに移動してアクション設定を構成します。
アクションの編集が完了したら、Create をクリックしてアクションを確定します。
高度なモード
アクションの JSON 構成ファイルにアクセスする必要がある場合は、Advanced をページの上部にクリックして Advanced モードを有効にします。
さらに詳しく
トレーニングや技術的なサポートを受けて当社のソリューションを実装するには、営業担当者に連絡するか、Professional Services ページにアクセスして見積もりを依頼し、専門家にプロジェクトを分析してもらいます。
Data Platform を構築するチームと直接質問したり、フィードバックを送信したり、相互作用したりするには、専用の Discord チャネル を利用してください。
OVHcloud サービスについてサポートが必要な場合は、Help Centre でリクエストを作成します。
ユーザーコミュニティ に参加します。
1: S3 は Amazon Technologies, Inc. の商標です。OVHcloud のサービスは Amazon Technologies, Inc. によってスポンサーされ、承認され、またはその他の方法で提携していません。