查看原文
其他

4天创10+款AR应用,Rokid见证00后空间计算创意狂想曲

Rokid
2024-08-23
7月15日-7月19日,全国超200名26岁以下的超级青年前往在杭州举办的AdventureX 2024,并利用仅4天的时间,在现场完成组队、动手创作及开发产品。
这场为年轻人量身定制的黑客松,单独开辟了“未来视界:Rokid空间计算的创意狂想”赛道,参赛者们可以通过Rokid AR Studio,运用其空间计算和人机交互能力,从0到1创造AR应用。

01
以专业知识赋能
创造有温度的AR应用

黑客松现场,这些青年参赛者们将自己的专业知识与空间计算技术相结合,创造出不少有趣、有创意,甚至有社会贡献的AR应用。

其中,有一支超级硬核的技术同学组成的队伍,有来自北航国家卓越工程师学院,全国机甲大师冠军,以及研究雷达和毫米波年轻专家等,如此硬核,但他们创造的是能应用于大众社会安全领域的AR应用。

这款名为《上帝的黑盒》AR应用,超越了肉眼与摄像头的界限,依托于先进的毫米波技术,不仅拥有穿墙透视的非凡能力,还能精准测谎、让真相无处遁形。它利用特制的毫米波板子,如同一位无形的守护者,还能提前预判行车途中的潜在危险,为安全出行保驾护航。
利用Rokid AR Studio空间计算成像和手势识别,动态的世界被巧妙地转化为点阵,构建起一个全方位、无死角的观测网络,让观察者如同置身“楚门的世界”之外,却又将每一个细微的动作都被精准捕捉并呈现,都一一还原于掌心之中。

在此之前,如此高精度的探测与还原几乎是天方夜谭。他们利用物理学的力量,将毫米波技术推向了前所未有的精细与精准。
而另一群来自热衷无人机和机器人技术的狂热者,他们结合Rokid AR Studio的语音识别能力,操控无人机系统。用户只需戴上Rokid AR眼镜,即可将第一视野无缝对接至无人机视角,通过语音指令精准操纵其起飞、降落、前进、后退,实现如臂使指般的灵活操控,让人仿佛身临其境,共享空中的壮阔与细腻。

尤为值得一提的是,该系统融入了AR技术,它不仅作为无人机的“眼睛”,更是其行动的智慧引领者。与VR的单一视野体验不同,AR技术让操作者能够在保持对无人机核心区域关注的同时,也能感知到周围环境的细微变化,从而实现了更加安全、有效且多模态的操控体验。这种技术的融合,无疑为无人机在复杂环境中的作业提供了前所未有的灵活性和精确度。

这款名为《EaglePilot》的AR应用,不仅是在探索技术的边界,更是在为无人机的未来应用铺设坚实的道路,让无人机技术以更加智能、便捷、安全的方式服务于社会,开启空中探索与作业的新篇章。

《小小魔画师》则是一款为亲子带来惊喜的AI+AR涂鸦游戏,由一群来自海峡两岸的工程师和设计师团队开发创作。专为5-8岁儿童设计,巧妙地发挥 Rokid AR 眼镜轻便、好操作的特性,和现今最前端的 AI 技术,能将 2D 涂鸦转化为生动的3D模型,成为和孩子一起游戏的玩伴。

小朋友们只需戴上Rokid AR眼镜,就能立刻化身为小小魔画师,在虚拟与现实交织的空间中自由挥洒他们的想象力。不同于传统的绘画方式,它巧妙结合了人工智能的魔力,能够智能识别并理解孩子们笔下那些天马行空的涂鸦,通过VAST发布的领先的TripoAI平台提供的文生3D建模能力,进而将这些创意转化为生动的3D图像。

更令人兴奋的是,《小小魔画师》通过AR技术,将这些3D作品以互动的形式展现在孩子们眼前。他们不仅可以亲眼看到自己创作的艺术品跃然眼前,还能通过手势等自然交互方式与之互动,真正实现了“所见即所得”的沉浸式体验。相比在iPad上绘画,这种体验更加直观、有趣,极大地提升了孩子们的参与感和创作热情。

此外,《小小魔画师》还特别注重亲子互动,利用AR里多模态交互的重要场景,让家长和孩子能够共同参与创作过程,享受亲子时光的乐趣。孩子们可以互相展示、分享自己的作品,看着这些3D艺术品在手中把玩,或是摆放在家中作为独特的装饰品,无疑将为他们的生活增添无限乐趣和色彩。

02

涌现奇思妙想
探索科技与人文的边界

AdventureX 2024现场,不仅有参赛者运用专业知识动手开发创造AR应用,还有不少青年利用AI+AR技术的特性,突破传统的认知,探索科技与人文的边界。

EscapeToaster》是一款集创新科技与趣味互动于一体的未来感面包机,它彻底颠覆了传统烘焙工具的界限,巧妙融合了AR技术与数字生命概念,让用户能够通过视觉与手势的双重交互,模拟并扮演这台面包机的角色。

戴上Rokid AR眼镜,用户将亲眼见证自己的想象力如何被赋予生命,面包机上的摄像头成为了它的“眼睛”,随着头部的转动,无论是上下左右,都能捕捉到周围环境的变化,仿佛真正拥有了感知世界的能力。更令人惊叹的是,用户还能在AR世界中看到自己的虚拟双手,与面包机的机械手同步动作,实现前所未有的沉浸式互动体验。

这一创意背后的团队汇聚了硬件整合、3D打印等领域的精英,他们利用先进的3D打印技术,为面包机量身定制了万向轮、灵活的手臂等部件,使其更加符合人机互动的需求。同时,团队以面包机作为基础,通过一系列巧妙的改造,赋予了它行走、感知与互动的能力,让原本冷冰冰的机器焕发出了勃勃生机。

另一款名为《ELF AI - 精灵艾尔》的AR桌宠养成应用,利用了Rokid AR Studio的SLAM和平面检测能力。戴上Rokid AR眼镜,一位超级活泼的二次元小姐姐将出现在用户面前,论是学习、工作还是休闲时光,都能与她为伴。

“她”不仅仅是一个动画人物,还能够根据你的指令做出相应反应。结合平面检测能力。她可以安静地坐在桌面一角陪伴你,或是悠闲地躺在桌面上小憩,还能跟随你的脚步站起身来走到你身边。“她”还具备智能对话功能,能够与你进行有趣的交谈,成为用户们生活中不可或缺的数字伴侣。

值得一提的是,团队虽以二次元文化为核心,但背后的动捕技术却完全由一群热爱技术的男生们精心打造。他们通过细致入微的动作捕捉,赋予了这位AI小姐姐生动自然的肢体语言和丰富的表情变化,让她的每一个动作都充满了生命力和感染力。

《布托Butuo》则是由中国人民大学、清华大学美术学院,天津大学等高校学生和CTO团队创作的AR应用,团队里还有Rokid开发者社区成员,他们尝试为拖延症患者解决拖延问题。

这款AR应用的核心魅力在于其智能化的用户体验。一启动应用,它便会温柔地询问你当天的状态与心情,随后引导你直面拖延的根源。通过AI大模型的深度介入,它能帮助用户精准识别拖延的症结所在——无论是“不知道怎么干”的迷茫,还是其他复杂情绪导致的拖延。就像一位贴心的语音助手,当你告知它你的困扰,比如准备演讲稿却不知从何说起时,它会迅速为你拆解任务,提供清晰的步骤指导,从寻找主题、构思内容到完成初稿,每一步都安排得井井有条。

使用AR眼镜,是团队考虑到为了进一步提升效率与专注度,,用户无需频繁操作手机,避免了因打开手机而分散注意力的风险。小巧的AR眼镜不仅轻便舒适,还减少了其他干扰信息的侵扰,让用户能够更加专注于当前的任务。

《布托Butuo》以其独特的AI+AR多模态交互方式,直接且高效地解决了全球范围内广泛存在的拖延症问题,展现了AI技术在提升社会影响力方面的巨大潜力。它不仅是一款应用,更是一种生活态度的倡导者。

《小顺/Carepilot》的团队,也有来自Rokid社区开发者,也是一个充满人文关怀的项目,这款AR应用主打中老年人的医疗陪护。

戴上Rokid AR眼镜,用户即可享受到一站式医疗服务体验,从挂号、导览、检查,每一步都尽在掌握。面对复杂的医院环境与流程,用户无需再四处问询,只需轻轻呼唤“小顺小顺”,便能即刻获得所需的帮助与信息。
得益于 Rokid 便携的空间计算产品,在实时采集影音数据的同时,能带给用户无与伦比的信息呈现。利用路牌识别的导路信息配合 SLAM 实现室内导航,并以“空中延伸的箭头”独属于空间计算的形式呈现。

依托声网ASTRA.AI平台提供的大语言模型AI能力支持,《小顺/Carepilot》拥有丰富的医疗数据与智能分析能力,以及流畅的语言对话能力,STT、TTS 配合 Agent,老人只需要动动嘴,就可以被告知所需要的一切信息。
例如,当用户表示心脏不适时,《小顺/Carepilot》会迅速推荐前往内科就诊,并自动规划导航路线;而当用户提及肝脏问题并即将接受手术时,《小顺/Carepilot》则会温柔地提醒用户不必过于焦虑,并指导其前往三楼休息室稍作休息,或是前往门口问询处获取更多帮助。这些细致入微的关怀与建议,让用户在无助的时刻感受到了来自科技的温度与力量。

《小顺/Carepilot》的成功开发,不仅是对医疗陪护行业的一次革新,更是对科技改变生活、温暖人心理念的生动诠释。

AR眼镜是语音自然交互的最佳平台,《英吹思听Interesting》利用AI+AR技术,结合AI大模型,为语言学习者开启了一场前所未有的语言学习革命。

其核心亮点在于其利用AI大模型构建的场景化语言学习环境。他们坚信“用英语”就是最好的“学英语”的方式,借助Roikd 眼镜的摄像头、麦克风,和虚实融合内容显示,捕获现实生活中的多模态数据,方便和 AI 交互,知道用户在哪里想要做什么。

例如,用户只需说出需求或者描述,AI便能即时以英文回应,模拟出一个完全沉浸式的异国语言环境。这种学习方式彻底打破了传统语言学习的界限,就像是我们有一个形影不离的外籍朋友一直陪着我们,让用户仿佛置身于真实的语境之中,自然而然地开口说英语。


更令人兴奋的是,《Interesting》能够根据用户的反馈和行为,智能调整交流内容,引导用户主动提出问题和需求。例如,当你想要上公交车时,AI会提示你“请往后面走”,并在你询问其含义时,耐心重复或解释,随后进一步引导你提问更多相关问题。这种互动不仅加深了用户对语言的理解,还极大地提高了学习的主动性和趣味性。

AI的无限耐心和反复训练能力,确保了每个学习者都能在最短的时间内取得显著的进步。这款AR应用以其全新的概念、先进的技术和贴心的服务,为语言学习者带来了前所未有的学习体验。

03

青春狂想
展现空间计算的未来视界

这不仅仅是一场竞赛,更是一次青春的碰撞、创意的火花与科技的交融,由一群怀揣梦想的高中生与大学生发起,跨越国界,汇聚成一股不可小觑的创新力量。

这场黑客松摒弃了传统竞赛的条条框框,不追求纯粹的商业化或即时的可执行性,而是鼓励每一位参与者释放出年轻人独有的创造力与想象力。在这里,每一个天马行空的想法都值得被听见,每一个看似奇奇怪怪的主意都可能成为改变未来的种子。

除了以上的若干项目以外,还有重现情绪瞬间通过空间唤醒回忆情感的《MoodScape》,以及帮助通过语音和视觉帮助儿童学习英文的《iWORDS》等。

每个项目还离不开不同的业内技术融合,Rokid AR眼镜是最好的AI能力载体,在这些项目中各个团队运用了包括Trip3DAI,ASTRAAI等各种AI服务平台,Rokid也会将来和各大AI社区齐力一起做好开发者社区,培养开发者生态。

作为开发者生态的坚实后盾,Rokid不仅提供前沿的软硬件支持,更以满腔的热情与信任,陪伴每一位年轻开发者从灵感的萌芽到项目的成型。Rokid的平面识别功能SDK一经上线,便被参赛者们使用,这不仅表明Rokid对生态的洞察与重视,也体现了开发者们对平台的支持与认可。‍‍‍‍‍‍‍‍‍
在这短短的时间内,通过Rokid的技术支持与情感陪伴,激发出参赛者们前所未有的潜能,共同创造出令人瞩目的成果。

此外,Rokid的Mentor导师们,在这100多个小时内在现场提供实时指导的第一重保障,并在线上提供24小时的技术支持。不仅是技术上的引路人,更是心灵上的导师,为年轻团队答疑解惑,提供宝贵的建议与鼓励。当看到这些年轻的开发者们日以继夜、废寝忘食地投入创作,从0到1构建起自己的小小梦想,直至将其孵化成MVP(最小可行产品)的那一刻,我们被深深感动,也更加坚定了做有挑战之事、不断寻求共鸣的初心。

此外,本次活动还吸引了AIGC、AI领域的大公司、行业精英以及各界朋友的关注与支持。我们希望通过这个平台,不仅能让更多人了解Rokid,更能为开发者们搭建起一座通往成功的桥梁。

未来,Rokid还将继续与更多社区合作,举办丰富多彩的开发者活动,并发布更合适的开发者成长计划,助力每一位年轻人在科技的道路上前行得更远。
继续滑动看下一个
Rokid
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存