日常生活中有碰到轻量模型的推理需求，比如验证码识别、tts生成等。 想要这个服务24h可用，就不能在日常电脑上部署。正好有个 J4125 的迷你主机作为家庭服务器，就先把模型部署到上面，验证下是否满足需求。 核显思路就是使用 openvino + onnx，当最终还是失败，下面记录下探索过程。 核显驱动 openvino 是 intel 推出的一款开源 AI 推理工具套件，旨在帮助开发者在 int…
日常生活中有碰到轻量模型的推理需求，比如验证码识别、tts生成等。 想要这个服务24h可用，就不能在日常电脑上部署。正好有个 J4125 的迷你主机作为家庭服务器，就先把模型部署到上面，验证下是否满足需求。 核显思路就是使用 openvino + onnx，当最终还是失败，下面记录下探索过程。 核显驱动 openvino 是 intel 推出的一款开源 AI 推理工具套件，旨在帮助开发者在 int…
讨论
登录后参与讨论
还没有评论，来说第一句吧。