メンテナンスアクションでテーブルストレージを最適化する#

#目的

ユーザーは、APIまたはビジュアルダッシュボードアプリケーションなどの最終消費者エンドポイントでデータがほぼ瞬時に読み込まれることを希望しています。この目的のために、Data Platformはクエリの結果を事前に計算するか、データモデルの一般情報を事前に読み込むためにキャッシュを使用します。

しかし、これはキャッシュとメタデータが処理手順中に定期的に管理および更新される必要があることを意味します。Data Platform Storeのアクションのマーケットプレイス内では、したがって、メンテナンスアクションの3種類が見つかります。

• メタデータの更新: データモデルのメタデータを更新します。
• キャッシュのフラッシュ: Analytics Manager: Analytics Managerのキャッシュを更新し、データモデルの最新データを表示します。
• キャッシュのフラッシュ: App Services: プロジェクト内のデプロイされたAPIのキャッシュを更新し、各クエリの最新結果を表示します。

これら3つのアクションは、データモデルに影響を与えるワークフローの終了時に実行するのが最適です。ワークフローの終了時にこれらをデフォルトで追加することを強くお勧めします。

#自動メンテナンス

これらのアクションをワークフロー中に実行するタイミングを最適化のために正確に選択することは有用ですが、管理が煩雑になることもあります。そのため、処理手順にこのメンテナンスルーチンを追加する2つの簡単な方法を提案します。

#Auto Flush-all ワークフロー

新しいプロジェクトを作成する際には、4つのアクションを含むワークフロー _flushall を作成することをお勧めします。このワークフローは4つのステージで順次実行されます: メタデータの更新、キャッシュのフラッシュ: Analytics Manager、キャッシュのフラッシュ: App Services、そしてバケットの削除。

#Auto Flush-all オプション

このメンテナンスルーチンを実行する別の方法は、ワークフローの設定タブにある「すべてのキャッシュを自動的にフラッシュする」オプションを有効にすることです。これにより、3つのアクションが実行されます: メタデータの更新、キャッシュのフラッシュ: Analytics Manager、キャッシュのフラッシュ: App Services。

#メタデータの更新

メタデータの更新アクションは、データモデルのメタデータを更新するために使用されます。データモデルはデータウェアハウスまたはデータストアに保存されています。通常、データモデルに影響を与えるワークフローの実行終了時に実行することを強くお勧めします。データモデルのメタデータは、Analytics ManagerやAPIsなどの他のコンポーネントによってデータモデルをナビゲートするために使用されます。

新しいメタデータの更新アクションを作成する際には、設定は必要ありません。

#キャッシュのフラッシュ: Analytics Manager

このアクションは、Analytics Managerのキャッシュをフラッシュするために使用されます。ワークフローの終了時に実行することを強くお勧めします。これにより、Analytics ManagerがLakehouse Managerからの最新メタデータを使用することが保証されます。

このアクションには、オプションのparams.timeoutパラメータがあります。詳細はアクションのタイムアウト設定を参照してください。そのJSON設定は次のようになります:

{
	"display_name": "Flush Cache: Analytics Manager action",
	"action": "flush-cache-qb",
	"params": {
	  "timeout": "2h"
	}
}

#キャッシュのフラッシュ: App Services

このアクションは、プロジェクトのAPIを呼び出してそのキャッシュをフラッシュするために使用されます。ワークフローの終了時に実行することを強くお勧めします。これにより、APIが事前設定されたクエリまたは属性の最新値を表示することが保証されます。

このアクションには、オプションのparams.timeoutパラメータがあります。詳細はアクションのタイムアウト設定を参照してください。そのJSON設定は次のようになります:

{
	"display_name": "Flush Cache: App Services action",
	"action": "flush-cache-front",
	"params": {
	  "timeout": "2h"
	}
}

#アクションのタイムアウト設定

キャッシュのフラッシュアクションの両方はタイムアウトを受け入れます:

アクションのタイムアウトを追加するには、設定に移動し、タイムアウトパラメータを有効にし、希望する時間を追加するか、または代わりにアクションのJSON設定を編集します。

#さらに詳しく

当社のソリューションのトレーニングや技術的なサポートについて、セールス代表にご連絡ください、またはプロフェッショナルサービスページを訪れ、見積もりを依頼し、専門家チームによってプロジェクトを分析してください。

質問をする、フィードバックを提供し、Data Platformを構築するチームと直接交流するには、専用のDiscordチャネルをご利用ください。

OVHcloudサービスについてサポートが必要な場合は、ヘルプセンターでリクエストを作成してください。

ユーザーコミュニティに参加してください。