FAQ

1. モデルのファインチューニングとは何ですか?

モデルのファインチューニングとは、ベース言語モデルを専門的なデータセットで再トレーニングし、特定の分野や対象ユースケースにおいてモデルがより良いパフォーマンスを発揮できるようにするプロセスです。

2. ファインチューニングにはどのモデルを選ぶべきですか?

• 小規模モデル(1B パラメータ以下)→ テストや軽量なワークロード向け
• 中規模モデル(7B〜13B)→ パフォーマンスとコストのバランスが取れています
• 大規模モデル(30B 以上)→ 複雑なタスク向けで、通常はマルチノード構成が必要です
• タスクがプロンプト・レスポンス形式に基づく場合は、instruction-tuned モデルが推奨されます

3. ファインチューニングにはどのくらい時間がかかりますか?

所要時間は以下に依存します:

• モデルサイズ(小規模モデルで数時間、非常に大規模なモデルで数日)
• データセットサイズ
• ハードウェア構成(ハイパーパラメータとインフラ)

通常、数時間から数日の範囲です。

4. モデルをファインチューニングする前に何を準備する必要がありますか?

次のものが必要です:

• クリーンで多様、かつ重複のないデータ。
• ファインチューニングの明確な目的(例: 技術サポート、カスタマーサービス、コンテンツ作成など)。

5. モデルのファインチューニングには何台の GPU が必要ですか?

必要な数はモデルサイズによって異なります:

• 1B パラメータ未満: 1 GPU(24 GB VRAM)で十分
• 7B モデル: 2〜4 GPU(各 40 GB VRAM)
• 13B モデル: 4〜8 GPU を推奨
• 30B 以上のモデル: 8 台以上の GPU とマルチノード構成が必要

6. 複数ノードが必要ですか、それとも 1 ノードだけで十分ですか?

• 小〜中規模モデル(最大 13B)の場合、複数 GPU を搭載した 1 ノードで十分です。
• より大規模なモデル(30B 以上)の場合、メモリとパフォーマンスを向上させるためにマルチノード構成が推奨されます。

7. 最低限必要な GPU メモリはどのくらいですか?

• 標準のファインチューニングでは GPU あたり少なくとも 24GB の VRAM が必要です
• LoRA/QLoRA 手法 を使用すれば、8〜16GB VRAM の GPU でもファインチューニングが可能です

8. トレーニングデータセットのサイズはハードウェア要件に影響しますか?

はい。データセットが大きいほど、より多くの VRAM、RAM、ストレージ容量が必要になります。

• データセット 20GB 未満 → Managed volume を使用できます
• データセット 20GB 超 → Dedicated network volume が必要です