Data Platform に Apache Kafka イベントをストリームする#

#目的

Apache Kafka は Apache Software Foundation によって開発された分散型イベントストアおよびストリーム処理プラットフォームです。Kafka コネクタを使用すると、Kafka サーバーに接続し、サーバーで受信したデータをリアルタイムでプロジェクトに統合できます。

#Platform に Kafka ソースを追加する

#構成画面の概要

Platform store で Kafka を見つけた後、Select をクリックすると、以下に示す構成画面が表示されます。

サーバーに接続するには、サーバーアドレスを指定し、サーバーが必要とする場合はユーザー名とパスワードも指定する必要があります。

#トピックの構成

サーバーとの接続を正常に確立した後、左側のチェックボックスをオンにすることで、データを取得するトピックを選択できます。

トピックがチェックされている場合、そのトピックにマウスをホバーしてペンアイコンをクリックし、そのトピックが受信するデータを Platform に転送する方法（デフォルトのオフセットポリシー）を構成できます。

オフセットポリシーには、2つのデフォルトオプションがあります。

• Latest: データをリアルタイムで読み取ります。古いメッセージは無視されます。
• Earliest: トピック内の最初のメッセージからデータを読み取り始めます。トピック内のすべてのメッセージを読み取った後、すべてのメッセージがリアルタイムで読み取られます（latest と同様）。

Data Processing Engine を使用して Lakehouse Manager の table に Kafka ソースからデータを読み込む場合、最新の読み取りオフセットは、目的地テーブルのメタデータに保存されます。これは、以下の意味があります。

• この 同じ テーブルにメッセージの取り込みを再開する場合、取り込みは最新の読み取りメッセージから開始されます。
• 新しい 目的地テーブルにメッセージの取り込みを開始する場合、取り込みはコネクタレベル（最新/最初のオフセット）またはジョブレベル（カスタムオフセット）で構成されたデフォルトパラメータから開始されます。

#サポートされているメッセージ形式

Platform は、メタデータ分析および取り込みのために、以下の種類の入力メッセージをサポートしています。

#フラット JSON 形式

{
'key':'value',
'anotherkey':'anothervalue'
}

#サポートされていないメッセージ形式

現在、Platform は以下の形式を サポートしていません。

#シンプルな文字列

'example message'

#ネストされたメッセージ

{
'key':'value',
'nestedkey':{
'a':'b'
}
}

#Platform で Apache Kafka のデータを使用する

Kafka 接続を Platform の残りの部分で使用する方法について知りたい場合は、Apache Kafka チュートリアル を参照してください。

#さらに詳しく

ソリューションの実装に関するトレーニングや技術サポートが必要な場合は、営業担当者にお問い合わせください、またはこのリンクをクリックして、プロフェッショナルサービスの専門家にプロジェクトのカスタム分析を依頼し、見積もりを取得してください。

専用の Discord チャネル で Data Platform を構築しているチームと直接質問し、フィードバックを共有し、交流してください。

OVHcloud サービスに関するサポートが必要な場合は、ヘルプセンター でリクエストを作成してください。

ユーザーコミュニティ に参加してください。