本地AI工具Ollama发布v0.40.11:支持Mac串流语音生成与d3决策模型
Ollama更新支持Apple芯片Mac的串流TTS及d3分类模型,但暂不支持中文。
本地AI模型执行工具Ollama发布v0.40.11版本,主要新增两项功能:基于Gradium开发的Phonon模型的串流文字转语音(TTS),以及由vLLM Semantic Router团队开发的d3决策模型。此次更新旨在扩展Ollama在个人电脑上的应用边界,使其不仅能运行聊天模型,还能处理实时语音输出和复杂的分类判断任务。
在语音功能方面,新版允许搭载Apple晶片的Mac电脑将文字或AI聊天模型的回答即时转换为语音,并在生成过程中同步播放,无需等待整段音频完成。开发者可通过兼容OpenAI API的接口调用该功能,每次请求最多支持4,096个字符,输出格式包括WAV和PCM。目前Phonon模型提供3,100万参数的英文版(Apache 2.0授权)和4,000万参数的多语言版(CC BY-NC 4.0授权),支持英、法、德、西、葡五种语言,但尚未支持中文。官方测试显示,利用Apple的MLX框架加速后,在M5 Max MacBook Pro上的生成速度比Gradium自家环境快35%。
另一项重要更新是整合了d3决策模型。该模型专门用于根据用户提供的选项和标准对输入内容进行分类、判断和评分,并提供各选项的概率分布。例如,客服系统可利用d3自动识别客户问题是属于账务、退款还是技术故障,从而路由至对应部门。d3也能分析静态图片,但不支持视频,且不会像通用聊天模型那样生成完整回答。目前Windows和Linux平台的语音功能预计将在后续版本推出。