Data Platform に Apache Kafka イベントをストリームする#

#目的

Apache Kafka は、Apache Software Foundation によって開発された分散型イベントストアおよびストリーム処理プラットフォームです。Kafka コネクタを使用すると、Kafka サーバーに接続し、サーバーで受信したデータをリアルタイムでプロジェクトに統合できます。

#Platform に Kafka ソースを追加する

#構成画面の概要

Platform store で Kafka を見つけた後、Select をクリックすると、以下に示す構成画面が表示されます。

サーバーに接続するには、サーバーアドレスを指定し、サーバーが必要とする場合はユーザー名とパスワードも指定する必要があります。

#トピックの構成

サーバーとの接続が成功すると、左側のチェックボックスをオンにすることで、データを取得するトピックを選択できます。

トピックがチェックされている場合、そのトピックにマウスを合わせ、ペンアイコンをクリックして、そのトピックが受信するデータを Platform に転送する方法（デフォルトのオフセットポリシー）を構成できます。

オフセットポリシーには、2 つのデフォルトオプションがあります。

• Latest: データをリアルタイムで読み取ります。古いメッセージは無視されます。
• Earliest: トピック内の最も古いメッセージからデータを読み取り始めます。トピック内のすべてのメッセージを読み取った後、すべてのメッセージがリアルタイムで読み取られます（latest と同様）。

Data Processing Engine を使用して Lakehouse Manager の table に Kafka ソースからデータを読み込む場合、最新の読み取りオフセットは、目的のテーブルのメタデータに保存されます。これは、以下の意味があります。

• この 同じ テーブルにメッセージの取り込みを再開する場合、取り込みは最新のメッセージから開始されます。
• 新しい 目的のテーブルにメッセージの取り込みを開始する場合、取り込みはコネクタレベル（latest/earliest オフセット）またはジョブレベル（カスタムオフセット）で構成されたデフォルトパラメータから開始されます。

#サポートされているメッセージ形式

Platform は、メタデータ分析および取り込みのために、以下の種類の入力メッセージをサポートしています。

#フラット JSON 形式

{
'key':'value',
'anotherkey':'anothervalue'
}

#サポートされていないメッセージ形式

現在、Platform は以下の形式を サポートしていません。

#シンプルな文字列

'example message'

#ネストされたメッセージ

{
'key':'value',
'nestedkey':{
'a':'b'
}
}

#Platform で Apache Kafka のデータを使用する

Kafka 接続を Platform の残りの部分で使用する方法を見たい場合は、Apache Kafka チュートリアル を参照してください。

#さらに詳しく知る

当社のソリューションのトレーニングや技術的な実装支援が必要な場合は、営業担当者にお問い合わせください、または当社の専門家がプロジェクトを分析するために見積もりをリクエストするには、Professional Services ページをご覧ください。

Data Platform を構築するチームと直接質問したり、フィードバックを送信したり、交流したりするには、専用の Discord チャネル をご利用ください。

OVHcloud サービスについてサポートが必要な場合は、Help Centre でリクエストを作成してください。

コミュニティ に参加してください。