Meta 开源 Unity 应用 Spatial Lingo:用现实物体识别陪你和虚拟角色练语言

近期,Meta 在其 GitHub 上发布了一款名为 Spatial Lingo 的开源 Unity 应用,主打借助现实环境中的物体识别来进行语言练习。该应用整合了 Meta 的多种 SDK,为用户带来新鲜、有趣的语言学习体验。

Spatial Lingo 的核心思路,是引导用户用目标语言识别并描述身边的物品,从而提升表达与词汇量。用户将跟随虚拟角色 Golly Gosh 的指引,用家中或工作场所的常见物品进行词汇练习。应用同时支持手部追踪和控制器操作,增强沉浸式互动。

QQ20260108-100456.png

该项目面向 Unity 开发者,提供理解与实现 Meta 多项功能的参考模板。通过透视相机 API(PCA)、语音 SDK、混合现实实用工具包(MRUK)等组件,开发者可以打造更丰富的混合现实体验。Spatial Lingo 的主场景以及多个示例场景展示了这些能力的用法,包括健身房场景、词云场景和相机图像场景。

使用 Spatial Lingo 前,开发者需安装 Unity6000.0.51f1 或更高版本,并配置相应的 Llama API 密钥。项目也特别强调安全,提醒开发者不要在应用中硬编码 API 密钥,避免被他人提取。

Spatial Lingo 的多项功能让它成为语言学习的强力工具。应用能识别用户环境中的物体,并据此生成动态课程。随着用户不断扩展自己的语言树,系统会自动生成与这些物体相关的动词和形容词,丰富学习内容。此外,应用还具备语音合成与语音转写功能,支持多种语言,进一步提升互动性。

这一项目不仅是 Meta 在教育方向的探索,也为开发者提供了优质的开源示例,展示如何把混合现实技术与语言学习结合。开发者可以前往 GitHub 查看 Spatial Lingo 的源代码与文档,深入挖掘其潜力。

地址:https://github.com/oculus-samples/Unity-SpatialLingo

爱智特-AI智能体一站式企业智能体交易学习发行平台|智能体教程|智能体社区
© 版权声明
THE END
喜欢就支持一下吧
点赞11 分享