网关API 迁移

type

status

date

slug

summary

1. 安装网关API CRD

Kubernetes网关API是一种更新、更灵活且标准化的方式来管理Kubernetes集群中的流量入口和出口。KServe实现了网关API版本1.2.1。

网关API不是Kubernetes集群的一部分，因此需要手动安装，请按照以下步骤操作。

2. 创建网关类

使用您首选的网络控制器创建一个GatewayClass资源。在本例中，我们将使用Envoy Gateway作为网络控制器。

3. 启用网关API

要在KServe中启用网关API支持，您需要在inferenceservice-config配置映射中将enableGatewayApi设置为true。

HelmKubectl

4. 创建网关资源

创建一个Gateway资源来暴露InferenceService。在本例中，我们将使用在步骤2中创建的envoy GatewayClass。如果您已经有Gateway资源，可以跳过此步骤。

这将创建一个网关实例pod和一个LoadBalancer服务。

预期输出

注意

如果在安装时将Helm值kserve.controller.gateway.ingressGateway.createGateway设置为true，KServe可以自动创建一个名为kserve-ingress-gateway的默认网关。如果您选择使用此默认网关，可以跳过此步骤，直接进行步骤6。

5. 在KServe中配置网关名称和命名空间

在ConfigMap inferenceservice-config中，使用gateway namespace和name修改ingress部分中的kserveIngressGateway，遵循格式<gateway namespace>/<gateway name>。在本例中，我们将使用在步骤4中创建的Gateway资源。

HelmKubectl

6. 重启KServe控制器

在下一次协调之前，现有的推理服务不会使用网关API配置。您可以重启KServe控制器来触发协调，并将网关API配置应用到所有现有的推理服务。

7. 配置外部流量

如果您使用云服务提供商，您可能需要配置在步骤4中创建的LoadBalancer服务的外部流量。

8. 验证网关API配置

创建一个推理服务来验证网关API配置是否已应用到推理服务。

执行以下命令来确定Kubernetes集群是否在支持外部负载均衡器的环境中运行

预期输出

负载均衡器节点端口端口转发

如果设置了EXTERNAL-IP值，您的环境有一个可用于入口网关的外部负载均衡器。

创建一个名为iris-input-v2.json的文件，包含示例输入。

现在，使用curl验证推理服务在集群外是否可访问。

预期输出

Kubernetes deployment 安装

概念-控制面板