模型推理运行时-SparkMLlib

type

status

date

slug

summary

使用 --jars 启动pyspark以指定 JPMML-SparkML uber-JAR的位置

拟合Spark ML流水线：

将 DecisionTreeIris.pmml 上传到GCS存储桶。

关于本地测试模型，请参考pmml服务器文档。

创建带有 pmml 预测器的 InferenceService，并使用您上传到的存储桶位置指定 storageUri

新架构旧架构

应用 InferenceService 自定义资源

等待 InferenceService 就绪

第一步是确定入口IP和端口并设置 INGRESS_HOST 和 INGRESS_PORT。

您可以在下面看到示例负载。使用示例输入创建一个名为 iris-input.json 的文件。

最后，您将使用KServe将训练好的模型部署到Kubernetes上。为此，您只需要使用 InferenceService CRD的版本v1beta1，并将protocolVersion字段设置为v2。

现在您可以通过发送示例请求来测试已部署的模型。

注意，此请求需要遵循开放推理协议。您可以在下面看到示例负载。使用示例输入创建一个名为 iris-input-v2.json 的文件。

确定入口IP和端口并设置 INGRESS_HOST 和 INGRESS_PORT。现在，您可以使用 curl 发送推理请求：

使用以下yaml创建推理服务资源并暴露gRPC端口。

应用InferenceService yaml以获取gRPC端点

当gRPC InferenceService 就绪后，可以使用grpcurl向 InferenceService 发送gRPC请求。

确定入口IP和端口并设置 INGRESS_HOST 和 INGRESS_PORT。现在，您可以使用 curl 发送推理请求。gRPC API遵循KServe的预测V2协议/开放推理协议。例如，可以使用 ServerReady API检查服务器是否就绪：

您可以通过使用以下负载发送示例请求来测试已部署的模型。请注意，输入格式与之前的 REST端点 示例不同。在名为 iris-input-v2-grpc.json 的文件中准备推理输入。

ModelInfer API采用遵循 grpc_predict_v2.proto 文件中定义的 ModelInferRequest 架构的输入。