Kserve文档Kubernetes deployment 安装
type
status
date
slug
summary
tags
category
icon
password
网址
KServe 支持
RawDeployment 模式，可使用 Kubernetes 资源进行 InferenceService 部署，包括 Deployment、Service、Ingress / Gateway API 和 Horizontal Pod Autoscaler。与无服务器部署相比，它突破了 Knative 的限制，例如可以挂载多个存储卷，但另一方面，RawDeployment 模式不支持 Scale down and from Zero 功能。Kubernetes 最低要求版本为 1.28，请查看相应 Kubernetes 版本的推荐 Istio 版本。
注意：推荐在KServe中使用
Gateway API，同时仍支持Ingress API。请按照Gateway API迁移指南将Kubernetes Ingress迁移至Gateway API。推荐版本对照表¶
Kubernetes Version | Recommended Istio Version |
1.28 | 1.22 |
1.29 | 1.22, 1.23 |
1.30 | 1.22, 1.23 |
1. 安装证书管理器¶
证书管理器最低要求版本为1.15.0，您可以参考证书管理器安装指南。
生产级安装需要证书管理器来配置webhook证书，或者您也可以选择运行自签名证书生成脚本。
2. Install Network Controller¶
Kubernetes Gateway API 是一种更新、更灵活且标准化的方式来管理 Kubernetes 集群中的流量进出。KServe 实现了 Gateway API 版本
1.2.1。Gateway API 不是 Kubernetes 集群的一部分，因此需要手动安装，请按照下一步操作进行安装。
然后，使用您首选的网络控制器创建资源。在本例中，我们将使用作为网络控制器。创建资源以暴露。在本例中，您将使用我们在上面创建的。如果您已经有资源，可以跳过此步骤，并可以将KServe配置为使用现有的Envoy Gateway作为网络控制器。
创建一个Gateway 资源来暴露InferenceService。在本例中，您将使用我们上面创建的envoy GatewayClass 。如果您已经有Gateway 资源，可以跳过此步骤，并可以将KServe配置为使用现有的Gateway.
注意：KServe自带一个默认的
Gateway，名为kserve-ingress-gateway。您可以通过将Helm值kserve.controller.gateway.ingressGateway.createGateway设置为true来启用默认网关。3. 安装KServe
注意： KServe的默认部署模式是
Serverless，它依赖于Knative。以下步骤在安装KServe之前将默认部署模式更改为RawDeployment。网关API Kubernetes入口
使用Helm安装
I. 安装KServe CRDs
II. 安装KServe资源
将
kserve.controller.deploymentMode设置为RawDeployment，并将kserve.controller.gateway.ingressGateway.kserveGateway指向在步骤2中创建的Gateway。上一篇
ModelMesh 安装
下一篇
网关API 迁移
Loading...