Kserve文档概念-数据面板-推理协议
type
status
date
slug
summary
tags
category
icon
password
网址
KServe的V1协议为所有模型框架提供了标准化的预测工作流程。该协议版本仍然受支持，但建议用户迁移到V2协议以获得更好的性能和服务运行时的标准化。但是，如果用例需要比协议v2更灵活的架构，v1协议仍然是一个选择。
API | 动作 | 路径 | 请求负载 | 响应负载 |
列出模型 | GET | /v1/models | ㅤ | {"models": [<model_name>]} |
模型就绪 | GET | /v1/models/<model_name> | ㅤ | {"name": <model_name>,"ready": $bool} |
预测 | POST | /v1/models/<model_name>:predict | {"instances": []} ** | {"predictions": []} |
解释 | POST | /v1/models/<model_name>:explain | {"instances": []} ** | {"predictions": [], "explanations": []} |
- = 负载是可选的
注意：V1协议中的响应负载并不严格强制执行。自定义服务器可以定义并返回其自己的响应负载。我们鼓励使用KServe定义的响应负载以保持一致性。
API定义
API | 定义 |
预测 | "预测"API在模型上执行推理。响应是预测结果。所有推理服务都遵循Tensorflow V1 HTTP API。 |
解释 | "解释"API是一个可选组件，除了预测之外还提供模型解释。标准化的解释器接口与Tensorflow V1 HTTP API相同，只是添加了":explain"动作。 |
模型就绪 | "模型就绪"健康API指示特定模型是否准备好进行推理。如果模型已下载并准备好服务请求，模型就绪端点将返回可访问模型的列表。 |
列出模型 | "模型"API展示模型注册表中的模型列表。 |
上一篇
概念-数据面板 - 推理面板
下一篇
概念-数据面板-开放推理协议V2
Loading...