Data Platform での AI Endpoints を使用してデータ分析を強化する#

#目的

不完全なデータセットの心配はもうありません：Data Platform でデータをインポート、クリーンアップ、可視化します。それだけではありません！AIの詳細な分析を活用し、さらにLLMに機械学習のルールを探すよう依頼して、データにぴったり合うものを見つけることができます。

このガイドでは、Data Platform でのデータ分析能力を強化するために AI Endpoints を活用する方法を示します。ゼロから始めて、データから有意義な予測を生成する方法を学びます。

このガイドの目的で使用されるすべての リソース（CSVファイル、Pythonスクリプトなど）は、以下にあります。始める前に、必要なすべてのファイルをダウンロードしてください：

#チュートリアルの手順

#ステップ1 - CSVファイルのアップロード

最初のステップは、Connectors にアクセスし、新しいソースを作成し、File Upload を選択してCSVファイルをアップロードすることです。このガイドでは、Dirty Cafe Sales Dataset を使用します。

#ステップ2 - ソースを分析し、ブループリントルールを定義する

Connectors から [Analyser] にアクセスし、新しく追加したソースをクリックしてメタデータを抽出します。

完了したら、以下の blueprint rules を各属性に対して定義できます：

#ステップ3 - ソースからテーブルを作成する

1. Lakehouse Manager に移動してテーブルセクションを開きます。
2. Connectorsソースから作成 をクリックし、ソース dirty cafe sales.csv を選択します。
3. dirty_cafe_sales（デフォルト名）と名前を付けます。
4. 作成 をクリックしてテーブルを構築し、作成します。
5. テーブルが正しく作成されたか確認します。問題がある場合は、エラーを確認するためにログを確認してください。

#ステップ4 - テーブルを複製する

このテーブルを複製して、同じ属性を持つ新しい空のテーブルを取得し、clean_cafe_sales と名前を付けます。「ビルド」を起動し、完了後にすべてが正常であることを確認します。

#ステップ5 - 将来のデータ可視化のための空のテーブルを作成する

clean_dataset_history という名前の新しい空のテーブルを作成し、以下の属性を追加します：

• item
• location
• payment_method
• quantity
• total_spent
• transaction_date

#ステップ6 - 新しい属性を作成する

Lakehouse Manager の [Attributes] に移動し、データ可視化用の新しい仮想属性を作成します：

このように表示されるはずです：

#処理オプション

データを処理して分析するには、2つのオプションがあります：

#オプション1：自動処理（ステップ7-9）

• ワークフローで処理を自動化し、カスタム分析用にデータを可視化します
• Pythonスクリプト + 集約アクション（自動化と効率的なデータセット処理）を使用したカスタムアクションを使用して、Data Processingワークフローを作成します
• 以前に作成した属性を使用してデータ可視化を行うために、Analytics Managerからクエリを作成します

#オプション2：LLMを使用したステップバイステップ処理（ステップ10-11）

• データをステップバイステップで処理し、LLM APIエンドポイントを活用して完全なデータ分析を受ける
• Jupyterノートブックを使用して、データセットをステップバイステップで処理します
• AI Endpointsで利用可能な強力なLLMを活用して、完全なデータ分析を行い、レポートを生成します

#オプション 1: 自動処理

#ステップ 7 - カスタムデータ処理ワークフローを使用してデータセットをクリーンアップ

データを迅速に処理し、1クリックで実行できるようにする場合は、Data Processing Engineでカスタムアクションと集約アクションを使用してワークフローを作成できます。

1. まず、新しい「カスタム」アクションを作成します:

• Python ファイルをアップロード custom_action_cafe_sales_processing.py
• カスタムアクションの名前を cafe_sales_data_processing とします
• Python 3.9 バージョンを選択
• numpy と pandas 依存関係を追加（ライブラリ名を入力して Enter キーを押す）し、作成をクリック
• これで、カスタムアクションを実行できます。

また、以下のようなログが表示されるはずです。正しく実行されたかどうかを確認できます:

2025-02-27 08:59:09 [NOTICE] "cafe_sales_data_processing" SUBMITTED
2025-02-27 08:59:09 [NOTICE] "cafe_sales_data_processing" QUEUED
2025-02-27 08:59:10 [NOTICE] "cafe_sales_data_processing" BUILD SUBMITTED
...
2025-02-27 09:00:41 [NOTICE] "cafe_sales_data_processing" Stop cleaning
2025-02-27 09:00:41 [NOTICE] "cafe_sales_data_processing" END (custom) action. Duration: 6.65 sec
...
2025-02-27 09:00:44 [NOTICE] "Flush dataplant cache" END (forepaas-flushall) action. Duration: 2.14 sec

2. 次に、以下のように「集約」アクションを作成します:

   • 必要に応じて集約アクションの設定を構成
   

3. 次に、以下のように「削除」アクションを作成します:

   • 必要に応じて削除アクションの設定を構成（このアクションにより、毎回クリーンなテーブルを使用できるようになります）
   

4. 最後に、処理ワークフローを定義します:

   • ワークフローを設定して、削除、カスタムアクション、集約アクションを接続
   

これで、データセットがクリーンになりました。

#ステップ 8 - クリーンなテーブルを探索

これで、すべてが正しく設定されているかどうかを確認できます:

1. Lakehouse Manager テーブルから、作成したテーブルを確認できます

   

2. Lakehouse Manager Explorerから、clean_cafe_sales テーブルを探索できます

   

#ステップ 9 - カスタム属性を使用したデータの可視化

これで、Analytics Managerのクエリの助けを借りて、データをより視覚的に詳しく見ることができます。

1. quantity_per_item クエリを作成

   • 各アイテムごとの1日あたりの平均販売数量が表示されます
   

2. total_spent_per_item クエリを作成

   • 各アイテムごとの1日あたりの平均総販売額が表示されます
   

3. sales_per_location クエリを作成

   • 各場所ごとの1日あたりの平均総販売額が表示されます
   

さらに、より多くのクエリを作成し、それらをダッシュボードに追加して、他のユーザーと共有できます。

#オプション 2: LLM を使用したステップバイステップ処理

#ステップ 10 - データセットをクリーンアップして S3¹ バケットに保存

データクリーンアッププロセスをステップバイステップで実行する場合は、Data Processing サービスから新しいノートブックを作成できます。

1. 以下の設定で「ベースノートブック」を作成します:

   • Python 3.9 バージョン
   • numpy, pandas, matplotlib, seaborn 依存関係をインストール
   

2. ファイル cafe_sales_preprocessing.ipynb を jupyterhub ファイルサイドバーにドラッグ＆ドロップまたはアップロード

   

#ステップ 11 - LLM AI Endpoints を使用したワンショットデータ分析

1つのリクエストで、データセット分析に必要なすべてのPythonコードを生成できます!

1. Llama 3.3 70B Instruct モデルを使用して、データセットを簡単に分析できるPythonコードを作成

2. AI Endpoints API キーを生成し、以下のスクリーンショットに示すように指定された行で使用

   • こちらからアクセス
   

3. 生成されたPythonコードを使用してデータを分析し、グラフを表示

LLM に Python コードを生成させる利点は、その後の月でコーヒー販売に新しいデータを追加する際に、一貫した分析方法を確保できることです。

#さらに詳しく

トレーニングや技術的なサポートが必要な場合は、営業担当者にお問い合わせください、またはプロフェッショナルサービスページをご覧ください。見積もりをリクエストして、専門家チームにプロジェクトを分析してもらうことができます。

質問をする、フィードバックを送信する、Data Platform を構築するチームと直接交流するには、専用のDiscord チャネルをご利用ください。

OVHcloud サービスについてサポートが必要な場合は、ヘルプセンターでリクエストを作成してください。

ユーザーコミュニティに参加してください。

¹: S3 は Amazon Technologies, Inc. の商標です。OVHcloud のサービスは、Amazon Technologies, Inc. によってスポンサーされ、承認され、または提携されているものではありません。