メンテナンスアクションでテーブルストレージを最適化する#

#目的

ユーザーは、APIまたはビジュアルダッシュボードアプリケーションなどの最終消費者エンドポイントで、データがほぼ瞬時に読み込まれることを希望しています。この目的のために、Data Platformは、クエリの結果を事前に計算するか、データモデルの一般情報を事前に読み込むためにキャッシュを使用します。

しかし、これはキャッシュとメタデータが処理手順中に定期的に管理および更新される必要があることを意味します。Data Platform Storeのアクションのマーケットプレイス内では、したがって、メンテナンスアクションの3種類が見つかります。

• メタデータの更新: データモデルのメタデータを更新します。
• キャッシュのフラッシュ: Analytics Manager: Analytics Managerのキャッシュを更新し、データモデルの最新データを表示します。
• キャッシュのフラッシュ: App Services: プロジェクト内のデプロイされたAPIのキャッシュを更新し、各クエリの最新結果を表示します。

これらの3つのアクションは、データモデルに影響を与えるワークフローの終了時に実行するのが最適です。ワークフローの終了時にこれらをデフォルトで追加することを強くお勧めします。

#自動メンテナンス

これらのアクションをワークフロー中に実行するタイミングを最適化のために正確に選択することは有用ですが、管理が煩雑になることもあります。そのため、処理手順にこのメンテナンスルーチンを追加する2つの簡単な方法を提案します。

#Auto Flush-all ワークフロー

新しいプロジェクトを作成する際には、4つのアクションを含むワークフロー _flushall を作成することをお勧めします。このワークフローは、4つのステージで連続して実行されます: メタデータの更新、キャッシュのフラッシュ: Analytics Manager、キャッシュのフラッシュ: App Services、そしてバケットの削除。

#Auto Flush-all オプション

このメンテナンスルーチンを実行する別の方法は、ワークフローの設定タブにある「すべてのキャッシュを自動的にフラッシュする」オプションを有効にすることです。これにより、3つのアクションが実行されます: メタデータの更新、キャッシュのフラッシュ: Analytics Manager、キャッシュのフラッシュ: App Services。

#メタデータの更新

メタデータの更新アクションは、データモデルのメタデータを更新するために使用されます。データモデルのメタデータは、データウェアハウスまたはデータストアに保存されています。通常、データモデルに影響を与えるワークフローの実行終了時に実行することを強くお勧めします。データモデルのメタデータは、Analytics ManagerやAPIsなどの他のコンポーネントによってデータモデルをナビゲートするために使用されます。

新しいメタデータの更新アクションを作成する際には、設定は必要ありません。

#キャッシュのフラッシュ: Analytics Manager

このアクションは、Analytics Managerのキャッシュをフラッシュするために使用されます。ワークフローの終了時に実行することを強くお勧めします。これにより、Analytics ManagerがLakehouse Managerからの最新メタデータを使用することが保証されます。

このアクションには、オプションのparams.timeoutパラメータがあります。詳細はアクションのタイムアウト設定を参照してください。そのJSON設定は次のようになります:

{
	"display_name": "Flush Cache: Analytics Manager action",
	"action": "flush-cache-qb",
	"params": {
	  "timeout": "2h"
	}
}

#キャッシュのフラッシュ: App Services

このアクションは、プロジェクトのAPIsを呼び出してそのキャッシュをフラッシュするために使用されます。ワークフローの終了時に実行することを強くお勧めします。これにより、APIが事前設定されたクエリまたは属性の最新値を表示することが保証されます。

このアクションには、オプションのparams.timeoutパラメータがあります。詳細はアクションのタイムアウト設定を参照してください。そのJSON設定は次のようになります:

{
	"display_name": "Flush Cache: App Services action",
	"action": "flush-cache-front",
	"params": {
	  "timeout": "2h"
	}
}

#アクションのタイムアウト設定

キャッシュのフラッシュアクションの両方は、タイムアウトを受け入れます:

アクションのタイムアウトを追加するには、設定に移動し、タイムアウトパラメータを有効にし、希望する時間を追加するか、または代わりにアクションのJSON設定を編集します。

#さらに詳しく

当社のソリューションを実装するためのトレーニングや技術サポートが必要な場合は、営業担当者にお問い合わせください、またはこのリンクをクリックして、プロフェッショナルサービスの専門家にプロジェクトのカスタム分析を依頼し、見積もりを受け取ってください。

Data Platformを構築するチームと直接質問し、フィードバックを共有し、相互作用するには、専用のDiscordチャネルにアクセスしてください。

OVHcloudサービスについてサポートが必要な場合は、ヘルプセンターでリクエストを作成してください。

ユーザーコミュニティに参加してください。