サンプルGPUワークロードを試す

このセクションでは、FPT Managed GPU Cluster上にサンプルGPUワークロードをデプロイする方法を紹介します。

以下のガイドを参考に、実際のワークロードをデプロイしてみてください：

• シングルGPUの例：vLLMを使ったLLMの推論サービング — 1つのGPUを使用してLLMを推論サービングする基本的な例。
• マルチGPUの例：vLLMを使ったLLMの推論サービング — 複数のGPUを使用してLLMをサービングする例。
• マルチノードの例：vLLMとマルチホストサービング — 複数のノードにまたがってLLMをサービングする例。
• KubernetesでUnslothを使ってLLMモデルをファインチューニングする — UnslothでLLMモデルをファインチューニングする例。

これらのガイドには、必要なマニフェスト、設定手順、および動作確認方法が含まれています。