Fpt Ai Factory Solution

JAIST の野心的な日本語 LLM 構築プロジェクトには、単なるコンピューティングパワーだけでなく、モデル開発ライフサイクル全体を管理する高度なプラットフォームを提供できるパートナーが必要でした。FPT AI Factory は、FPT AI Studio と FPT AI Inference サービスを統合したソリューションとして、JAIST が必要とするエンドツーエンドのソリューションを提供しました。

• データ探索

協力は、最も効果的なトレーニングデータの組み合わせを体系的に探索することから始まりました。FPT AI Studio を使用して、JAIST の研究者たちは Qwen3-0.6B モデルを 768 種類のユニークなトレーニングデータの組み合わせ（768 回の独立したトレーニング実行に相当）でトレーニングしました。この重要なフェーズは、FPT AI Inference の埋め込みモデルを活用して混合トレーニングデータ内のテキストドメインを分析・分類することでも加速されました。

• トレーニングフェーズ

理想的なデータの組み合わせが特定されると、JAIST は Qwen2.5-32B をベースモデルとして使用した大規模な継続事前学習に着手しました。このプロセスは、FPT AI Studio で管理された 3 つの個別かつ計算集約的なフェーズに分割されました:

• フェーズ 1: ベースモデルを 100B トークンのデータセットでトレーニングしました。各ノードに 8 基の NVIDIA H100 GPU を搭載した 30 ノードの強力なクラスターを使用しました。
• フェーズ 2: トレーニングを大幅にスケールアップし、29 ノード上で動作する 267B トークンのデータセットからモデルを学習させました。障害のあるノードを迅速に検出し、隔離しました。
• フェーズ 3: 最終フェーズでは 273B トークンのデータセットを使用しました。このデータセットには前フェーズの 267B トークンが含まれ、FPT AI Inference サービスによって実現された Qwen3-235B-A22B モデルが生成した新しい instruction データで補強されました。このフェーズでは 30 ノードの H100 GPU クラスターを再利用してトレーニングを行いました。

この複雑なプロセス全体を通じて、FPT AI Factory のエンジニアたちは緊密で献身的なサポートを提供し、これらの大規模なトレーニングジョブのシームレスな実行を確保しました。

• 評価

評価のために、JAIST は FPT AI Studio の全機能を活用しました。継続事前学習されたモデルは LoRA ファインチューニング を受け、Test Jobs 機能を使用して Nejumi Leaderboard 3 に対して厳格にベンチマーク評価されました。さらに、Interactive Session 機能により、JAIST の研究者たちはファインチューニング済みモデルをサービスとして利用し、独自の内部カスタムベンチマークを実施できました。