与推理服务(InferenceService)的 Swagger 用户界面进行交互

type
status
date
slug
summary
tags
category
icon
password
网址

InferenceService Swagger UI

KServe ModelServer 使用 FastAPI 构建,自带支持 OpenAPI 规范
Swagger UI 是一个网页工具,让你可以直接在浏览器中查看和测试 KServe InferenceService 的 API。你不需要使用命令行,就能轻松探索各个接口并验证输出结果。
notion image
KServe ModelServer Swagger UI

开启 Swagger UI

注意事项
由于目前这个接口不需要身份验证,在生产环境中启用时要特别小心。
目前在界面中,只有 v2 版本的接口支持 POST 请求。
要启用 Swagger UI,只需在《第一个推理服务》章节的 YAML 示例中添加一个参数:
部署完成后,你可以通过 /docs 路径访问 Swagger UI。比如在上面的例子中,访问地址是 http://sklearn-iris.kserve-test.example.com/docs
提示
不同的运行环境可能会有不同的访问路径。比如 MLServer 环境下,Swagger UI 的访问路径是 /v2/docs。这个示例只适用于 KServe 提供的运行环境,以及基于 KServe 运行环境开发的其他环境。

使用推理服务

点击任意 V2 版本的接口(如 /v2),就能看到该接口的详细说明和返回内容:
notion image
V2 元数据
点击"Try it out"(试一试)按钮,然后点击"Execute"(执行),Swagger UI 就会向 /v2 接口发送一个 GET 请求。你可以在下方看到服务器返回的内容和响应头:
notion image
V2 元数据
同样的方法,你也可以用 Swagger UI 查看模型信息,或者通过 /v2/models/{model_name}/infer 接口进行预测。
想了解更多信息,请查看模型服务数据平面文档,那里有详细的推理协议说明。
上一篇
第一个推理服务
下一篇
安装指南 - Serverless 安装
Loading...
文章列表
Kserve中文文档
快速开始
管理指南
用户指南
开发指南
机器学习概念
大模型周报