金融タスク向けに Gemma 3 27B Instruct モデルをファインチューニングする

はじめに

Gemma-3-27B-Instruct は、マルチモーダル機能 (text+image)、128K トークンのコンテキストウィンドウ (長い金融ドキュメントに最適)、強力な推論能力、多言語サポートを備えた高性能な instruction-tuned モデルです。 金融データセットでファインチューニングすることで、次のことが可能になります：

• ドメイン固有の用語を理解します
• 複雑な金融の質問に回答します
• 非構造化レポートから構造化データを抽出します
• 金融ドキュメントからサマリーやインサイトを生成します

ステップバイステップ: SFT によるファインチューニング

1. 金融データセットを準備します

推奨ソース:

• Hugging Face 上の Financial QA データセット。
  • 例: https://huggingface.co/datasets/gbharti/finance-alpaca/blob/main/Cleaned_date.json
• 決算報告、金融ニュース、アナリストのコメントからのカスタムデータセット

2. Model Fine-tuning Portal にアクセスし、Create New Pipeline をクリックします

詳細:

• Model source: Model Catalog
• Model name: google/gemma-3-27b-it
• Trainer: SFT
• Volume: Managed volume
• Data format: Alpaca
• Training data: 'Cleaned_data.json' をアップロード
• Evaluation data: None
• Hyperparameters:
  • Batch size: 1
  • Epochs: 3
  • Gradient accumulation steps: 4
  • Checkpoint steps: 500
  • Logging steps: 10
  • ...
• Infrastructure:
  • Node: 1
  • Flavor: 8 x GPU NIVIDIA H100 SXM5 (128CPU - 1536GB RAM - 8xH100)
• Pipeline name: ft.pipeline_0251509140923

3. パイプラインを開始します

パイプラインの初期化を待ちます。このプロセスは通常、完了までに約 15 分かかります。

4. モニタリング

進捗状況は Model metrics、System metrics、Logs で監視できます。