模型存储-URI

type
status
date
slug
summary
tags
category
icon
password
网址
本文档指导如何通过模型对象的URI(统一资源标识符)来指定模型对象,这些模型对象通过httphttps端点暴露。
这个storageUri选项支持单文件模型,比如通过joblib文件指定的sklearn模型,或者包含其他模型类型(如tensorflowpytorch)所需的所有依赖项的压缩包(如tarzip)。这里我们将展示以上两种示例。

创建HTTP/HTTPS头部密钥并附加到服务账户

HTTP/HTTPS服务请求头可以被定义为密钥并附加到服务账户。这是可选的。
 
 
📔
注意 在推理服务中指定的serviceAccountName。这些头部将应用于具有相同主机的所有http/https请求。
头部和主机应该是base64编码格式。

Sklearn

训练和冻结模型

这里,我们将训练一个简单的鸢尾花模型。请注意KServe需要sklearn==0.20.3
 
现在,冻结的模型对象可以放在网络上的某个地方来暴露它。例如,将model.joblib文件推送到GitHub上的某个仓库。

指定和创建InferenceService

 
应用sklearn-from-uri.yaml
 

运行预测

现在,可以在${INGRESS_HOST}:${INGRESS_PORT}访问入口,或者按照这个说明查找入口IP和端口。
示例负载如下:
预期输出
上一篇
模型存储-OCI
下一篇
模型存储 - GCS
Loading...
文章列表
Kserve中文文档
快速开始
管理指南
用户指南
开发指南
机器学习概念
大模型周报