模型存储 - PVC

type
status
date
slug
summary
tags
category
icon
password
网址
本文档说明如何在 PVC 中存储模型并使用保存在 PVC 上的模型创建推理服务。

创建 PV 和 PVC

参考文档创建持久卷(PV)和持久卷声明(PVC),PVC 将用于存储模型。本文档使用本地 PV。
kubectl

将模型复制到 PV

运行 Pod model-store-pod 并登录到容器 model-store
在另一个终端中,将模型从本地复制到 PV,然后删除 model-store-pod

使用 PVC 上的模型部署 InferenceService

将 ${PVC_NAME} 更新为已创建的 PVC 名称,并使用 PVC storageUri 创建推理服务。
应用 sklearn-pvc.yaml
注意在文件夹 ${PVC_NAME}/${MODEL_NAME}/ 中应该有您的模型 model.joblib
还要注意 ${MODEL_NAME} 只是一个文件夹,但保持相同的名称是一个很好的约定。

运行预测

现在可以通过 ${INGRESS_HOST}:${INGRESS_PORT} 访问入口,或按照此说明查找入口 IP 和端口。
预期输出
上一篇
模型存储-使用AzureBlob
下一篇
模型存储-S3
Loading...
文章列表
Kserve中文文档
快速开始
管理指南
用户指南
开发指南
机器学习概念
大模型周报