Kserve文档模型存储-S3
type
status
date
slug
summary
tags
category
icon
password
网址
配置 AWS S3 存储凭证有两种支持的方法：
- AWS IAM 服务账户角色（推荐）
- AWS IAM 用户凭证
S3 凭证的全局配置选项可以在
inferenceservice 配置映射中找到，当在密钥或服务账户上找不到相关注解时，将作为备用选项使用。创建带有 IAM 角色的服务账户
创建 IAM 角色并根据 AWS 文档进行配置。
KServe 将读取服务账户上的注解，以便在存储初始化容器上注入适当的环境变量。创建服务账户
kubectl
创建 S3 密钥并附加到服务账户
使用您的 S3 用户凭证创建密钥，
KServe 读取密钥注解以在存储初始化器或模型代理上注入 S3 环境变量，用于从 S3 存储下载模型。创建 S3 密钥
将密钥附加到服务账户
注意如果您在启用 istio sidecar 的情况下运行 kserve，在 istio 代理准备就绪和代理拉取模型之间可能会存在竞争条件。当代理尝试从 s3 下载时，这将导致
tcp dial connection refused 错误。要解决此问题，istio 允许阻塞 pod 中的其他容器，直到代理容器准备就绪。
您可以通过在
istio-sidecar-injector 配置映射中设置 proxy.holdApplicationUntilProxyStarts: true 来启用此功能，proxy.holdApplicationUntilProxyStarts 标志是在 Istio 1.7 中作为实验性功能引入的，默认情况下处于关闭状态。使用 InferenceService 在 S3 上部署模型
创建带有 s3
storageUri 的推理服务，并附加带有 s3 凭证的服务账户。应用
autoscale-gpu.yaml。运行预测
现在可以通过
${INGRESS_HOST}:${INGRESS_PORT} 访问入口，或按照此说明查找入口 IP 和端口。预期输出
上一篇
模型存储 - PVC
下一篇
模型存储－OCI
Loading...