Fine-tune Model Gemma 3 27B Instruct Cho Các Tác Vụ Tài Chính

Giới thiệu

Gemma-3-27B-Instruct là một model hiệu năng cao, được instruction-tuned với khả năng đa phương thức (text+image), cửa sổ ngữ cảnh 128K token (lý tưởng cho các tài liệu tài chính dài), khả năng suy luận mạnh và hỗ trợ đa ngôn ngữ. Fine-tuning model này trên các dataset tài chính cho phép nó:

• Hiểu thuật ngữ chuyên ngành
• Trả lời các câu hỏi tài chính phức tạp
• Trích xuất dữ liệu có cấu trúc từ các báo cáo phi cấu trúc
• Tạo bản tóm tắt hoặc thông tin chi tiết từ các tài liệu tài chính

Từng bước: Fine-tuning với SFT

1. Chuẩn bị dataset tài chính của bạn

Nguồn được đề xuất:

• Các dataset Financial QA trên Hugging Face.
  • Ví dụ: https://huggingface.co/datasets/gbharti/finance-alpaca/blob/main/Cleaned_date.json
• Dataset tùy chỉnh từ các báo cáo thu nhập, tin tức tài chính hoặc bình luận của nhà phân tích

2. Truy cập Model Fine-tuning Portal và nhấn Create New Pipeline

Chi tiết:

• Model source: Model Catalog
• Model name: google/gemma-3-27b-it
• Trainer: SFT
• Volume: Managed volume
• Data format: Alpaca
• Training data: Tải lên 'Cleaned_data.json'
• Evaluation data: None
• Hyperparameters:
  • Batch size: 1
  • Epochs: 3
  • Gradient accumulation steps: 4
  • Checkpoint steps: 500
  • Logging steps: 10
  • ...
• Infrastructure:
  • Node: 1
  • Flavor: 8 x GPU NIVIDIA H100 SXM5 (128CPU - 1536GB RAM - 8xH100)
• Pipeline name: ft.pipeline_0251509140923

3. Khởi chạy Pipeline

Chờ pipeline khởi tạo. Quá trình này thường mất khoảng 15 phút để hoàn tất.

4. Giám sát

Bạn có thể theo dõi tiến trình trong Model metrics, System metrics và Logs.