Kserve文档使用替代网络层部署推理服务（InferenceService）
type
status
date
slug
summary
tags
category
icon
password
网址
KServe 基于虚拟主机或路径路由创建用于路由到
InferenceService 组件的顶层 Istio Virtual Service。现在 KServe 提供了一个禁用顶层虚拟服务的选项，以允许配置 Knative 支持的其他网络层。例如，Kourier 是一个替代性的网络层，以下步骤展示了如何使用 Kourier 部署 KServe。安装 Kourier 网络层
- 安装 Kourier 网络层：
- Configure Knative Serving to use Kourier:
- Verify Kourier installation:
预期输出
- Edit
inferenceservice-configconfigmap to disable Istio top level virtual host:
- Restart the KServe Controller
部署推理服务以测试 Kourier 网关
创建推理服务
新模式
Expected Output
运行预测
例如，如果您选择进行
Port Forward进行测试，则需要按照以下方式选择kourier-gatewaypod。请确保在当前终端路径下创建一个名为
pmml-input.json 的文件，其中包含以下内容。向推理服务发送预测请求并检查输出。
预期输出
上一篇
AI 网关集成
下一篇
ModelMesh 安装
Loading...