16GB 内存也能本地跑 12B 多模态模型!谷歌 AI Edge Gallery 上线 Mac,端侧 AI 再提速

对于苹果 Mac 用户来说,在本地离线运行生成式大模型的门槛又降了一步。根据最新消息,谷歌推出的实验性应用AI Edge Gallery已经正式支持 macOS。也就是说,Mac 用户不需要依赖云端算力,就能在本地完成聊天、图像处理和语义理解等任务,同时兼顾隐私与离线可用性。

和 Ollama、LM Studio 这类常见的通用型第三方开源模型管理工具不同,谷歌这次带来的AI Edge Gallery更偏向垂直化方案。目前,这款应用主要围绕谷歌自家的开放模型体系进行托管与优化,首批上线了 5 款经过指令微调(Instruct)的专用模型,分别是性能突出的 Gemma-4-12B-it,以及采用端侧参数卸载设计的 Gemma-4-E2B-it、Gemma-4-E4B-it、Gemma-3n-E2B-it 和 Gemma-3n-E4B-it。

image.png

在这一批首发模型里,最受关注的还是拥有 120 亿参数的旗舰端侧模型 Gemma412B。谷歌方面表示,受益于底层架构和 macOS 的深度适配,这款模型在仅有 16GB 内存的普通 Mac 设备上,也能较为顺畅地处理文本、图像和音频等多模态输入。再加上它在本地代码生成和逻辑推理方面的表现不错,轻薄型 Mac 笔记本也能变成支持全天候多模态交互的离线智能助手。

除了模型阵容扩充之外,谷歌还面向 Mac 平台同步推出了一款免费的端侧语音效率工具——Google AI Edge Eloquent。它主打离线智能听写,不但可以准确识别并转写用户语音,还能在本地实时去掉口头禅和明显口误,并对文本做简单润色,让口语内容更容易整理成清晰的书面表达。

为了避免传统听写工具在专业场景下频繁误改术语的问题,Eloquent 还提供了“自定义词汇表”功能。用户可以提前录入自己常用的人名、行业词汇和高频短语。由于语音识别和文本优化的整个过程都直接在 Mac 本地芯片上完成,数据不用上传到云端,因此也更能满足职场用户对隐私安全和商业信息保护的实际需求。

爱智特-AI智能体一站式企业智能体交易学习发行平台|智能体教程|智能体社区
© 版权声明
THE END
喜欢就支持一下吧
点赞13 分享