Chuyển tới nội dung chính

Thuật ngữ và định nghĩa

Thuật ngữĐịnh nghĩa
ModelMô hình hoặc mô hình AI là một chương trình máy tính được thiết kế để mô phỏng trí tuệ của con người
Model ServingLà sản phẩm Platform as a Service (PaaS) cho phép triển khai và vận hành các mô hình AI trên nền tảng Kubernetes do FPT Cloud cung cấp
Model TypeLoại mô hình cần triển khai, bao gồm/không bao gồm image
ImageTemplate để đóng gói ứng dụng dưới dạng container để triển khai
Image SourceLoại nguồn cho image triển khai: Private/Public
Image RegistryĐịa chỉ nơi lưu trữ image triển khai
Image TagTag của image triển khai
ClusterCụm Kubernetes để triển khai mô hình
InstanceĐơn vị công suất xử lý
Instance ReplicaSố lượng instance giống hệt nhau cung cấp công suất xử lý cho một mô hình
Resource Type FlavorLoại tài nguyên công suất xử lý (CPU/RAM/DISK/GPU)
Deployment StrategyChiến lược triển khai trên Kubernetes (Recreate/Rolling Update)
Startup CommandLệnh khởi động hoặc lệnh khởi tạo
Environment VariableCác biến môi trường cần cấu hình
Nodes SelectorLựa chọn nhãn cho worker node để triển khai mô hình
TagsNhãn cho mô hình đã triển khai
Services TypeLoại kết nối ngoài cho mô hình đã triển khai trên Kubernetes (Load Balancer/ClusterIP/Ingress)
Traffic TypeLoại kết nối dữ liệu (Public/Private)
PortCổng kết nối ngoài và container ingress (TCP)
GPU Sharing ModeLoại ảo hóa dùng để phân chia GPU (MIG/MPS/Time-slice)