Tổng quan

Mục đích và phạm vi tài liệu:

• Tài liệu này cung cấp hướng dẫn cho khách hàng về cách sử dụng dịch vụ FPT Smart Cloud Model Serving, bao gồm các thủ tục đăng nhập, sử dụng và quản lý qua giao diện FPT Portal.

Giới thiệu về sản phẩm: FPT Smart Cloud chính thức ra mắt dịch vụ FPT Model Serving. Với dịch vụ này, khách hàng có thể dễ dàng triển khai các mô hình AI lên hạ tầng FPT Cloud. Model Serving cung cấp tính khả dụng cao và độ trễ thấp cho việc triển khai các mô hình trí tuệ nhân tạo. Dịch vụ tự động mở rộng hoặc thu hẹp để đáp ứng nhu cầu thay đổi, tiết kiệm chi phí hạ tầng trong khi tối ưu hóa hiệu suất độ trễ. Model Serving hỗ trợ nhiều loại mô hình AI từ nhiều nguồn khác nhau, bao gồm Private Models, FPT AI Models, NVIDIA NGC và Custom Models từ các hub công khai như Hugging Face. Model Serving cung cấp hai mô hình dịch vụ: Deployment và Endpoint.