Kserve文档模型存储 - 存储容器
type
status
date
slug
summary
tags
category
icon
password
网址
KServe使用存储初始化器（initContainer）下载模型。例如，这是默认存储初始化器的实现。KServe在0.11版本中引入了ClusterStorageContainer CRD，允许用户为支持的URI格式列表指定自定义容器规范。
ClusterStorageContainer为一个或多个存储URI格式定义容器规范。以下是与默认存储初始化器对应的ClusterStorageContainer示例。请注意，这包含在helm chart中。
在 ClusterStorageContainer 规范中，您可以指定容器资源请求和限制，以及此镜像支持的URI格式列表。KServe可以通过
prefix 或 regex 匹配URI。警告 如果一个存储URI被两个或更多的 ClusterStorageContainer CR支持，则无法保证会使用哪一个。请确保URI格式仅被一个ClusterStorageContainer CR支持。
自定义协议示例
例如，如果您想使用自定义协议
model-registry://，您可以创建一个自定义镜像并添加一个新的 ClusterStorageContainer CR使其在KServe中可用。创建 Custom Storage Initializer 镜像
第一步是创建一个自定义容器镜像，该镜像将作为初始化容器注入到KServe部署中，并负责下载模型。
唯一的要求是这个容器镜像的
Entrypoint 应该接收（并正确管理）2个位置参数：1. 源URI：标识在 InferenceService 中设置的 storageUri 2. 目标路径：模型应该存储的位置，例如 /mnt/models注意：KServe控制器将负责正确注入您的容器镜像并使用适当的参数调用它。
可以在这里找到一个更具体的示例，其中存储初始化器查询现有的
model registry 服务以检索用户请求部署的模型的原始位置。创建 ClusterStorageContainer CR
一旦自定义存储初始化器镜像准备就绪，您只需创建一个新的
ClusterStorageContainer CR使其在集群中可用。您只需提供2个基本信息：1. 容器规范定义，这严格取决于您自己的自定义存储初始化器镜像。2. 支持的uri格式，针对需要注入自定义存储初始化器的情况，在本例中仅为 model-registry://。使用 InferenceService 部署模型
使用
model-registry 特定的 URI 格式创建 InferenceService。这里唯一的假设是您要部署的机器学习模型已经在模型注册表中注册，更多信息可以在kubeflow/model-registry代码库中找到。
在这个具体示例中，
model-registry://iris/v1模型指向已注册的模型gs://kfserving-examples/models/sklearn/1.0/model。这里的关键点是，这些信息只需在注册过程中提供一次，而在之后的每次部署操作中，您只需提供能识别该模型的特定model-registry URI（在本例中为model-registry://${MODEL_NAME}/${MODEL_VERSION}）。规格属性
规格属性可在API参考文档中找到。
上一篇
推理图-图像识别示例
下一篇
模型存储 - CA证书配置
Loading...