Kserve文档LLM推理运行时 - 文本分类
type
status
date
slug
summary
tags
category
icon
password
网址
在这个示例中，我们演示如何通过部署带有Hugging Face服务运行时的
InferenceService来部署用于序列分类（又称文本分类）任务的distilBERT model。使用V1协议部署Hugging Face LLM模型
首先，我们将使用V1协议的Hugging Face后端部署
distilBERT model。Yaml
检查InferenceService状态
预期输出
执行模型推理
第一步是确定入口IP和端口并设置
INGRESS_HOST和INGRESS_PORT。预期输出
使用开放推理协议（V2协议）部署Hugging Face LLM模型
首先，我们将使用开放推理协议（V2协议）的Hugging Face后端部署
distilBERT model。为此，我们需要将protocolVersion字段设置为v2。Yaml
检查InferenceService状态
预期输出
执行模型推理
第一步是确定入口IP和端口并设置
INGRESS_HOST和INGRESS_PORT。预期输出
上一篇
LLM推理运行时 - token分类
下一篇
LLM 推理运行时 - 填充蒙版
Loading...