模型推理运行时-XGBoost

type

status

date

slug

summary

第一步是训练一个示例xgboost模型。我们将把这个模型保存为model.bst。

一旦您将模型序列化为model.bst，我们就可以使用KServe XGBoost服务器来启动本地服务器。

注意

此步骤是可选的，仅用于测试，您可以直接跳转到使用InferenceService部署。

首先，要在本地使用kserve xgboost服务器，您需要在本地环境中安装xgbserver运行时包。

xgbserver包接受三个参数。

在本地安装好xgbserver运行时包后，您现在应该可以按如下方式启动服务器：

最后，我们使用KServe在Kubernetes上部署我们训练好的模型。为此，我们使用InferenceService CRD并将protocolVersion字段设置为v2。

Yaml

假设我们已经有一个可以通过kubectl访问且已安装KServe的集群，我们就可以部署我们的模型了：

现在我们可以通过发送示例请求来测试已部署的模型。

注意，此请求需要遵循开放推理协议。您可以在下面看到示例负载。创建一个名为iris-input-v2.json的文件，其中包含示例输入。

确定入口IP和端口并设置INGRESS_HOST和INGRESS_PORT。现在，您可以使用curl发送推理请求：

输出将类似于：

使用以下yaml创建推理服务资源并公开gRPC端口。

应用InferenceService yaml以获取gRPC端点

在gRPC InferenceService准备就绪后，可以使用grpcurl向InferenceService发送gRPC请求。

确定入口IP和端口并设置INGRESS_HOST和INGRESS_PORT。现在，您可以使用curl发送推理请求。gRPC APIs遵循KServe 预测V2协议/开放推理协议。例如，可以使用ServerReady API检查服务器是否就绪：

您可以通过使用以下负载发送示例请求来测试已部署的模型。请注意，输入格式与之前的REST端点示例不同。在名为iris-input-v2-grpc.json的文件中准备推理输入。

ModelInfer API采用遵循ModelInferRequest架构的输入