Kserve文档KServe中文文档
type
status
date
slug
summary
tags
category
icon
password
网址
Kserve是高度可扩展且基于标准的，在 Kubernetes 上运行的用于可信人工智能的，模型推理平台。
为什么选择Kserve
为各类机器学习框架提供高性能的标准化推理协议。
支持现代无服务器推理工作负载，具备自动扩缩容功能，包括 GPU 资源的零点扩缩。
KServe 是一个运行在 Kubernetes 上的标准模型推理平台，专为高度可扩展的用例而构建。
使用ModelMesh提供高度可扩展性、密度打包和智能路由
为生产级机器学习服务提供简单且可插拔的服务，包括预测、预处理/后处理、监控和可解释性
支持金丝雀发布、实验、集成和转换器等高级部署功能
KServe 关键组件
ModelMesh 专为大规模、高密度和频繁变化的模型用例而设计。ModelMesh 通过智能地在内存中加载和卸载 AI 模型，在用户响应性和计算资源占用之间实现明智的平衡。
Loading...