ONNX部署SmolVLA:延迟减半但空间任务成功率跌至41%
SmolVLA转ONNX后p99延迟从1181毫秒降至601/532毫秒,但LIBERO空间任务成功率从70%跌至41%,单作者自报。
重要性局部证据E2 未复现
在RTX 2060上用ONNX Runtime部署SmolVLA,p99延迟可从1181毫秒降至601/532毫秒,但LIBERO仿真中Spatial成功率会从70%跌至41%,Object保持89%。
此前若想降低该模型推理延迟,缺少ONNX部署路径下的延迟与成功率对照数据,容易在压缩后误判能力保持情况;审计还发现INT8导出实为FP32图。
单作者预印本自报:在LIBERO仿真中评测,Spatial成功率70%→41%,Object保持89%,p99延迟1181毫秒→601/532毫秒;作者称语言宽度取24可恢复到75%、延迟约为基线一半,但宽度未解释全部差异。
该结果仅限RTX 2060与LIBERO仿真,尚无他人复现;预印本9月12日提交、16日更新。