データのインゲストと変換
データを取り込み、クエリに値するようにします。
生データからモデル化されたテーブルへ
まずはインゲストです。Apache Kafkaからのストリーミングにより、ブローカーをソースとして接続し、トピックからテーブルを最新の状態に保ちます。IoTフリートモニタリングパイプラインは、デバイスメッセージをダッシュボードまで導く2部構成の長いワーク例であり、ここではフルリファレンスアーキテクチャに最も近いものです。
次に変換です。Python SDKチュートリアルでは、カスタムアクションがテーブルを読み込み、データフレームで変更し、それを書き戻す方法を示しています。SQL変換は、Trinoエンジン上でSQLを使用して同じ作業を行います。外部データセットを使用したデータモデルは、プラットフォームがコピーしないデータ上にテーブルを構築します。セグメンテーションはパフォーマンスの章です。日付、属性、ファイルセット、またはアカウントごとに、1つのジョブを並列タスクに分割する7つの短いガイドで、各モードをカバーしています。
完全なパイプラインを構築するには、順番に読み進めてください。または、お持ちのソースに合ったものを選んでください。
Apache Kafkaからデータをストリーミング→
トピックからテーブルを最新の状態に保つ
IoTフリート監視パイプラインを構築→
ダッシュボードまでデバイスメッセージを通す、2部構成
Python SDKを使用してデータを変換→
テーブルを読み取り、データフレームで変更し、書き戻す
SQL変換→
Trinoエンジン上でSQLで同じ作業をする
外部データセットを使用したデータモデル→
プラットフォームがコピーしないデータ上でモデリング
ジョブにセグメンテーションを適用→
1つのジョブを並列タスクに分割、7つのモードをカバー
さらに深く掘り下げる
当社のソリューションのトレーニングや技術的な実装支援が必要な場合は、営業担当者にお問い合わせください、またはプロフェッショナルサービスページをご覧ください。見積もりをリクエストし、当社の専門家にプロジェクトを分析してもらうことができます。
質問をする、フィードバックを送る、またはData Platformを構築するチームと直接交流するには、専用のDiscordチャネルにアクセスしてください。
OVHcloudサービスについてサポートが必要な場合は、ヘルプセンターでリクエストを作成してください。
ユーザーコミュニティに参加してください。

