Data PlatformでAIエンドポイントを使用してデータ分析を強化する#

#目的

不完全なデータセットの心配はもうありません：Data Platformでデータをインポート、クリーンアップ、可視化します。それだけではありません！AIの詳細な分析からさらに一歩進み、LLMにデータにぴったり合う機械学習ルールを見つけるように依頼できます。

このガイドでは、Data PlatformでAI Endpointsを活用してデータ分析能力を強化する方法を示します。ゼロから始めて、データから有意義な予測を生成する方法を学びます。

このガイドの目的で使用されるリソース（CSVファイル、Pythonスクリプトなど）はすべてここにあります。開始する前に、必要なすべてのファイルをダウンロードしてください：

#チュートリアルの手順

#ステップ1 - CSVファイルをアップロードする

最初のステップは、Connectorsにアクセスし、新しいソースを作成して、File Uploadを選択してCSVファイルをアップロードすることです。このガイドでは、Dirty Cafe Sales Datasetを使用します。

#ステップ2 - ソースを分析し、ブループリントルールを定義する

ConnectorsからAnalyserにアクセスし、新しく追加したソースをクリックしてメタデータを抽出します。

完了後、以下のブループリントルールを各属性に対して定義できます：

#ステップ3 - ソースからテーブルを作成する

1. Lakehouse Managerに移動してテーブルセクションを開きます。
2. Connectorsソースから作成をクリックし、ソースdirty cafe sales.csvを選択します。
3. dirty_cafe_sales（デフォルト名）と名前を付けます。
4. 作成をクリックしてテーブルを構築し、作成します。
5. テーブルが正しく作成されたことを確認します。問題がある場合は、エラーを確認するためにログを確認します。

#ステップ4 - テーブルを複製する

このテーブルを複製して、同じ属性を持つ新しい空のテーブルを取得し、clean_cafe_salesと名前を付けます。「ビルド」を起動し、完了後にすべてが正常であることを確認します。

#ステップ5 - 将来のデータ可視化のための空のテーブルを作成する

clean_dataset_historyという新しい空のテーブルを作成し、次の属性を追加します：

• item
• location
• payment_method
• quantity
• total_spent
• transaction_date

#ステップ6 - 新しい属性を作成する

Lakehouse ManagerのAttributesに移動し、データ可視化用の新しい仮想属性を作成します：

次のようになります：

#処理オプション

データを処理して分析するには、2つのオプションがあります：

#オプション1：自動処理（ステップ7-9）

• ワークフローで処理を自動化し、カスタム分析用にデータを可視化します
• Pythonスクリプト + 集約アクション（自動化と効率的なデータセット処理）を使用したカスタムアクションを使用して、Data Processingワークフローを作成します
• 以前に作成した属性を使用してデータ可視化を行うために、Analytics Managerからクエリを作成します

#オプション2：LLMを使用したステップバイステップ処理（ステップ10-11）

• データをステップバイステップで処理し、完全なデータ分析のためにLLM APIエンドポイントを活用します
• Jupyterノートブックを使用して、データセットをステップバイステップで処理します
• AIエンドポイントで利用可能な強力なLLMを使用して、完全なデータ分析を実行し、レポートを生成します

#オプション 1: 自動処理

#ステップ 7 - カスタムデータ処理ワークフローを使用してデータセットをクリーンアップ

データを迅速に処理し、1クリックで実行できるようにする場合は、Data Processing Engineでカスタムアクションと集約アクションを使用してワークフローを作成できます。

1. まず、新しい「カスタム」アクションを作成します:

• Python ファイル custom_action_cafe_sales_processing.py をアップロードします
• カスタムアクションの名前を cafe_sales_data_processing とします
• Python 3.9 バージョンを選択します
• numpy と pandas 依存関係（ライブラリ名を入力して Enter キーを押します）を追加し、作成 をクリックします
• これで、カスタムアクションを 実行 できます。

また、以下のようなログが表示されるはずです。正しく実行されたかどうかを確認できます:

2025-02-27 08:59:09 [NOTICE] "cafe_sales_data_processing" SUBMITTED
2025-02-27 08:59:09 [NOTICE] "cafe_sales_data_processing" QUEUED
2025-02-27 08:59:10 [NOTICE] "cafe_sales_data_processing" BUILD SUBMITTED
...
2025-02-27 09:00:41 [NOTICE] "cafe_sales_data_processing" Stop cleaning
2025-02-27 09:00:41 [NOTICE] "cafe_sales_data_processing" END (custom) action. Duration: 6.65 sec
...
2025-02-27 09:00:44 [NOTICE] "Flush dataplant cache" END (forepaas-flushall) action. Duration: 2.14 sec

2. 次に、以下のように「集約」アクションを作成します:

   • 集約アクションの設定を要件に応じて構成します
   

3. 次に、以下のように「削除」アクションを作成します:

   • 削除アクションの設定を要件に応じて構成します（このアクションにより、毎回クリーンなテーブルを使用できるようになります）
   

4. 最後に、処理ワークフローを定義します:

   • ワークフローを設定して、削除、カスタムアクション、集約アクションを接続します
   

これで、データセットがクリーンになりました。

#ステップ 8 - クリーンなテーブルを探索

これで、すべてが正しく設定されているかどうかを確認できます:

1. Lakehouse Manager テーブル から、作成したテーブルを確認できます

   

2. Lakehouse Manager Explorer から、clean_cafe_sales テーブルを探索できます

   

#ステップ 9 - カスタム属性を使用したデータ可視化

これで、Analytics Manager の クエリ の助けを借りて、データを視覚的にさらに詳しく調べることができます。

1. quantity_per_item クエリを作成

   • 各アイテムごとの1日あたりの平均販売数量が表示されます
   

2. total_spent_per_item クエリを作成

   • 各アイテムごとの1日あたりの平均販売総額が表示されます
   

3. sales_per_location クエリを作成

   • 各場所ごとの1日あたりの平均販売総額が表示されます
   

さらに、より多くのクエリを作成し、それらをダッシュボードに追加して、他のユーザーと共有できます。

#オプション 2: LLM を使用したステップバイステップ処理

#ステップ 10 - データセットをクリーンアップして S3¹ バケットに保存

データクリーンアッププロセスをステップバイステップで実行したい場合は、Data Processing サービスから新しいノートブックを作成できます。

1. 以下の設定で「ベースノートブック」を作成します:

   • Python 3.9 バージョン
   • numpy, pandas, matplotlib, および seaborn 依存関係をインストール
   

2. ファイル cafe_sales_preprocessing.ipynb をアップロードするには、ドラッグ＆ドロップまたはアップロードをクリックします

   

#ステップ 11 - LLM AI Endpoints を使用したワンショットデータ分析

1つのリクエストで、データセット分析に必要なすべての Python コードを生成できます!

1. Llama 3.3 70B Instruct モデル を使用して、データセットを簡単に分析できる Python コードを使用します

2. AI Endpoints API キーを生成 して、以下のスクリーンショットに示すように指定された行で使用します

   • こちら からアクセス
   

3. 生成された Python コード を使用して、データを分析し、グラフを表示します

LLM に Python コードを生成させる利点は、その後の月でコーヒー販売に新しいデータを追加する際に、一貫した分析方法を確保できることです。

#さらに深く学ぶ

ソリューションの実装に関するトレーニングや技術サポートが必要な場合は、営業担当者にお問い合わせください、または このリンク をクリックして見積もりを依頼し、プロフェッショナルサービスの専門家にプロジェクトのカスタム分析を依頼してください。

質問をする、フィードバックを送信する、または Data Platform を構築するチームと直接交流するには、専用の Discord チャネル を利用してください。

OVHcloud サービスに関するサポートが必要な場合は、ヘルプセンター でリクエストを作成してください。

ユーザーコミュニティ に参加してください。

¹: S3 は Amazon Technologies, Inc. の商標です。 OVHcloud のサービスは、Amazon Technologies, Inc. によってスポンサーされ、承認され、または提携されているものではありません。