Kserve文档模型存储 - Hugging Face
type
status
date
slug
summary
tags
category
icon
password
网址
您可以在
InferenceService YAML 中使用以下格式指定 storageUri 字段，以从 Hugging Face Hub 部署模型。例如
hf://facebook/opt-125m公开的 Hugging Face 模型
如果未提供凭据，将使用匿名客户端从 HF 仓库下载模型。
私有的 Hugging Face 模型
KServe 支持使用
HF_TOKEN 进行身份验证以下载模型，并创建 Kubernetes secret 来存储 HF 令牌。从 HF Hub 部署推理服务
选项1：使用带有 Secret 引用的服务账号
创建一个带有 HF 令牌 secret 名称引用的 Kubernetes
ServiceAccount，并在 InferenceService 规范中指定 ServiceAccountName。选项2：使用带有 Secret 引用的环境变量
创建一个 Kubernetes HF 令牌，并使用
InferenceService 规范中的环境变量指定 HF 令牌 secret 引用。yaml
检查推理服务状态
预期输出
上一篇
模型存储 - GCS
下一篇
模型存储 - 模型缓存
Loading...