Model Testing - Test Jobs とは

Model Testing - Test Jobs は FPT AI Factory Portal のコア機能で、ファインチューニング済み AI モデルを評価するための体系的かつ自動化された方法を提供します。リアルタイムの手動インタラクションに焦点を当てた Interactive Sessions とは異なり、Test Jobs は事前に定義されたデータセットを使用した大規模で繰り返し可能なテストのために設計されています。

Test Jobs の主な機能:

• 自動評価: 構造化された入力データを使用して大規模なテストを実行し、手動介入なしにモデルの応答を評価します。
• カスタムテストセット: ビジネスケースに合わせたドメイン固有のデータセットをアップロードできます（例: カスタムクエリ、法的文書、医療記録）。
• 標準化テストセット: 業界標準に対してモデルを評価するために研究者が開発した公開ベンチマークを活用できます（例: Nejumi Leaderboard 3、LM Evaluation Harness、VLM Evaluation Kit）。
• パフォーマンスメトリクス: 定量的・定性的メトリクスを使用してモデルの出力を分析します。

Model Testing - Test Jobs は、AI モデルがライブインタラクションで応答するだけでなく、幅広い入力に対して堅牢で一貫性があり、スケーラブルであることを確保します。これは、金融、ヘルスケア、法律サービスなどの重要な業界向けの高リスクアプリケーションにおいて、デプロイ前の必須ステップです。