Kserve文档模型推理运行时-MLFlow
type
status
date
slug
summary
tags
category
icon
password
网址
本示例将指导您如何部署
mlflow模型利用KServe InferenceService CRD以及如何使用V2数据平面发送推理请求。训练
第一步是训练一个样本sklearn模型并通过调用mlflow
log_model API将其保存为mlflow模型格式。训练脚本还将使用MLflow模型格式序列化我们训练好的模型。
本地测试
一旦你获得了序列化的
model.pkl，我们就可以使用MLServer来启动本地服务器。关于MLServer的更多详细信息，请查看MLflow示例文档。注意
这一步是可选的，仅用于测试，你可以直接跳转到使用InferenceService部署。
前提条件
首先，要在本地使用MLServer，你需要在本地环境中安装
mlserver包以及MLflow运行时。模型设置
下一步是提供一些模型设置，以便MLServer知道：
- 用于服务模型的推理运行时（即
mlserver_mlflow.MLflowRuntime）
- 模型的名称和版本
这些可以通过环境变量指定，或者通过创建本地
model-settings.json文件：本地启动模型服务器
在本地安装了
mlserver包并创建了本地model-settings.json文件后，你就可以按以下方式启动服务器：使用InferenceService部署
当你使用InferenceService部署模型时，KServe会注入合理的默认值，使其无需任何进一步配置即可运行。但是，你仍然可以通过提供与本地类似的
model-settings.json文件来覆盖这些默认值。你甚至可以提供一组model-settings.json文件来加载多个模型。要使用v2协议进行已部署模型的推理，你需要将
protocolVersion字段设置为v2，在本例中，你的模型制品已上传到"GCS模型仓库"，可以通过gs://kfserving-examples/models/mlflow/wine访问。新架构
kubectl
测试已部署的模型
现在你可以通过发送示例请求来测试已部署的模型。
注意，此请求需要遵循V2数据平面协议。以下是一个示例负载：
现在，假设你的入口可以通过
${INGRESS_HOST}:${INGRESS_PORT}访问，或者你可以按照这个说明查找你的入口IP和端口。你可以使用
curl发送推理请求：预期输出
上一篇
模型推理运行时-Paddle
下一篇
模型推理运行时-ONNX
Loading...