4月7日,光感科技公布了一项全新的研发成果,xr操作系统feelaros。该操作系统可以安装在任何安卓手机上运行,并能够将手机app以“超大悬浮屏”的形态开启在智能眼镜的3d空间中,实现“腾空点击交互”。
xr操作系统feelar os手机配合ar眼镜的使用效果图
据了解,feelar os是针对安卓操作系统进行了重构,光感科技采用自主研发的三维引擎,给操作系统换上一颗“xr心脏”,使同一个app既可以在手机中使用,又可以在智能眼镜中使用。feelar os支持数百万安卓应用3d化,包括浏览器、视频、音乐、社交等全部安卓应用,解决了ar眼镜及vr头盔应用种类欠缺的一大痛点。
小屏变大屏,手机能用的xr智能操作系统
光感feelaros安装在手机中,具有多用的特点:当用户不使用ar眼镜时,feelar os就是智能手机操作系统;而通过type-c或者无线连接到智能眼镜后,安卓app可以启动在智能眼镜中的3d空间中,以多窗口形态呈现多个80英寸左右的悬浮式界面,让手机app从小屏变成虚拟的超级大屏。更重要的是,在智能眼镜中呈现的app全都支持虚拟触控等多种交互方式,用户可以用手柄或手指“腾空”触控安卓app的图形界面完成交互。通过ar和vr眼镜,能让app实现大视场角显示,高效多任务交互,从而让用户摆脱手机小屏幕的束缚。
在技术路线上,feelaros并非通过传统“同屏/投屏”功能开启应用,而是将应用启动在三维空间中,通过左右眼视差渲染出具有不同深度的3d页面。
真正的xr,ar和vr技术首次融为一体
作为xr操作系统,光感科技feelaros首次将ar和vr两大技术体系融合到一个操作系统中。feelaros除了能安装在手机中,还能直接安装在主流的ar眼镜和vr头盔中,并支持ar多任务模式、vr沉浸模式以及在两种模式中灵活切换。
“ar多任务模式”下,feelar os追求高效的多任务、多进程同时运行,尤其适用于办公用户或者观影爱好者,系统将多个安卓app以固定限制的视场角大小显示在三维空间中。限制应用显示大小的好处是不会过于遮挡视线,用户可以在移动出行过程中安全使用ar眼镜。feelaros的操作界面适用于unity开发的3d应用和安卓2d应用,安卓2d应用可以轻易的贴附在现实空间的墙壁、桌面上,在降低了交互的复杂度的同时减轻多任务的渲染量,实现设备的低功耗、长时间运行。
xr操作系统feelar os手机配合ar眼镜的使用效果图
feelaros的“vr沉浸模式”主要用于沉浸式游戏、应用或者全景视频等,让用户获得完全沉浸式的vr体验。例如用户开启180°至360°视场角的的沉浸式应用,系统会自动进入全视角显示模式,其它的app窗口暂时消失,在ar眼镜中获得与vr头盔一致的沉浸式体验。
新开发的应用支持app内的ar与vr灵活切换。feelar os提供系统级的接口,为新开发的应用提供多种模式的切换支持与系统级交互支持,根据应用场景的需要变化ar和vr模式,动态扩展应用显示的视场角大小。在系统上为开发人员在ar与vr空间自由拓展的交互场景提供了更灵活的技术。
强大的人工智能ai团队,实现高精度slam和三维手势算法
光感团队应用最新的人工智能技术,在ai计算机视觉领域取得了较大突破。光感科技投入研发了insideout方案的vio slam算法和双手26dof手势追踪,经过两年的研发,目前也进入测试阶段,将在不久的将来发布。其中,slam算法针对移动平台进行了优化,在占用较低的资源情况下实现高精度的定位跟踪,并支持回环检测,能够在arm架构的嵌入式平台高效流畅运行。基于imu和视觉的多传感器融合算法,克服卷帘相机带来的低照条件下图像模糊问题,实现流畅稳定运行。此外,该slam算法中还有自动标定相机内外参功能,能够应用于各种型号的机型设备。
光感还利用计算机视觉技术开发了激光雷达自动泊车、智能安防、人脸识别、手势识别、人脸口罩检测、三维重建等技术。在xr交互方面,利用深度学习技术,实现了双手26dof三维手势追踪识别。目前,光感团队在计算机视觉领域经过多年的积累,已逐步达到了行业技术的领先水平。
光感科技双手26dof手势追踪识别
据了解,光感(上海)科技有限公司在成立前,公司的团队已经在ar和vr领域埋头研发了多年,主要创业方向是致力于下一代计算平台xr的相关技术研发,通过研究xr中最重要且必须迈过去的最关键技术,推动xr产业发展。光感除了有应用于5g的xr操作系统feelar os,还有xr三维引擎、人工智能、计算机视觉等领域积累的多项研发成果,此后将陆续推出一系列的行业解决方案。