Kserve文档模型推理运行时-ONNX
type
status
date
slug
summary
tags
category
icon
password
网址
设置
- 您的 ~/.kube/config 应指向已安装 KServe 的集群。
- 您集群的 Istio 入口网关必须可通过网络访问。
创建推理服务
新架构
注意
对于默认的 kserve 安装，在使用新架构时，您必须将 protocolVersion 指定为 v2 以用于 onnx。否则，您将收到运行时未找到的错误。
预期输出
运行示例推理
- 设置环境变量 第一步是确定入口 IP 和端口并设置
INGRESS_HOST和INGRESS_PORT
- 验证服务是否正常
- 安装依赖项
- 在 jupyter 中运行示例笔记本
上传您自己的模型
本说明中示例所用的样本模型已上传并可供使用。但是，如果您想修改示例以使用自己的 ONNX 模型，您只需要将模型作为
model.onnx 上传到 S3、GCS 或 Azure Blob 即可。上一篇
模型推理运行时-MLFlow
下一篇
模型推理运行时-AMD
Loading...