基于心智模型的虚拟现实与增强现实混合式移动导览系统的用户体验设计

第 卷 第 期 年 月 计 算 机 学 报 收稿日期 最终修改稿收到日期 本课题得到国家 八六三 高技术研究发展计划项目基金 国 家自然科学基金 国家科技重大专项基金 资助 林 一 男 年生 博士研究生 主要研究方向为虚拟 现实与增强现实 人机交互与界面设计 陈 靖 女 年生 博士 副教授 研究员 主要研究领域为虚拟 现实与增强现实 图像识别与跟踪 刘 越 男 年生 博士 教授 博士生导师 主要研究领域为虚拟现实与增强现实 王涌天 男 年生 博士 北京理工大学长江学者奖励计划特聘教授 博士生导师 主要研究领域为虚拟现实与增强现实 本文提出的 目前还在继续完善 访问以下地址可查看该系统演示 基于心智模型的虚拟现实与 增强现实混合式移动导览系统的用户体验设计 林一 陈靖 刘越 王涌天 北京理工大学光电学院 北京 摘 要 在当前的人机交互领域 移动平台上增强现实技术的应用越来越广泛 然而由于对认知心理学在增强现 实领域重要作用的忽视和互动信息展示形式的匮乏 导致此类软件的用户体验欠佳 该文提出了一套基于心智模 型的虚拟现实与增强现实混合式移动导览系统 在遵循以用户为中心的设计原则下 结合微观和宏观心智模型理 论分析用户的需求 通过反复的可用性测试对交互界面进行迭代设计 使得系统界面的交互体验不断趋近用户的 心理预期 此外 通过虚拟现实和增强现实两个空间的自由切换 用户可以获得两种截然不同的互动体验 这种新 颖的交互模式丰富了互动内容的展现方式 实验结果表明 基于该交互模式的移动导览系统调动了用户主动进行 交互的积极性 提高了人机交互的易用性和时效性 关键词 虚拟现实 增强现实 心智模型 用户体验设计 移动互联网 中图法分类号 号 引 言 随着移动智能终端的快速发展 移动平台上的人 机交互程序的用户体验设计 越来越多的得到人们的关注 近几年 许多基 于位置服务的应用软件能够提供主动定位并推送用 户附近热点 的增强现实 信息服务 例如比较著名 的 和 年 月 应用的官方发布标志着增强现实 人机交互技术普及的时代已经来临 图 所示为以 上所列举的 款软件的主要界面 图 常见的 交互商业软件界面 对于显示面积小于 的移动设备 交互方式受人机工效限制导致了很多可用性问题 问题 利用人的认知方式可以避免在互动中出现繁 复 混淆 逻辑冲突等问题 心智模型能够对可用性 问题作最好的解释与说明 设计简单 高效 人性 化的 交互界面成为用户体验设计的研究热点 早期的数据浏览型 交互界面对交互的限制 较大 如 等人 研究的应用于路径规划的 系统 随着技术的发展 面向自然交互方式的多 通道用户界面开始陆续涌现并走向成熟 如基于手 势交互的 界面 和实物用户界面 试图脱离图像用户界 面 的局限 直接将 真实世界中人与物体 环境的交互行为映射为与信 息空间的交互过程的用户界面 使物理环境直接成 为界面 达成物理世界和数字世界的融合 这同以物 理环境为交互环境的 技术有着密切的联系 如 大学 实验室开发的基于 的实 物用户界面 和 等人 也把它定 义为实物 界面 心智模型在交互设计领域运用 的探讨所涉及的范围比较广泛 等人 提出创 建模块化用户界面 的概念模 型 面向不同用户组的个性化需求来定制用户体验 以实现交互的多样性 和 提 出依照定制的接口规范和规则集来设计交互界面使 其快速适应环境的变换并始终趋近于用户的心智模 型 国内对于 的研究起步较晚 主要的研究成果 大多围绕在 显示技术 摄像机校准算法 跟踪注册算法 等具体技术上 如北京理工大学的 圆明园数字重建系统 和国防科技大学的虚拟实 景空间系统 对于心智模型在交互体验设计方面 的研究 浙江大学对手机交互界面的心智模型与操 作绩效的空间一致性开展了有意义的探索 已有 的研究虽然对文化的多样性和空间一致性进行了探 讨 但却缺乏在操作方式层面上进行的分析 此外 多数研究仅侧重于将常见的 界面作为运用心 智模型开展设计的对象 而非面向具有特殊性的 互动界面 因此 针对这些不足 本文开展了研 究工作 当识别 跟踪和定位已经不再成为技术瓶颈时 增强现实类应用却始终得不到普及 大众认可度依 旧不高 通过反复的调查与分析 研究结果表明问题 在于两方面 一方面 人机互动的方式过于简单导致 信息展示的形式匮乏 另一方面 由于在用户体验设 计上忽视了认知心理学在 交互领域的重要作 用 直接导致了传统的 服务软件的交互界面不 够友好 降低了互动体验的愉悦感 本文基于心智模型的理论提出了虚拟现实与 增强现实 混合导览系统 该系统以用户为中心进行 交互设计 用户可以在增强现实和虚拟现实两种不 同环境中自由切换 体验新颖的交互操作模式 这在 空间层面上拓宽了人机互动的方式 宏观心智模型 和微观心智模型的结合运用不但为 与 环境 间的自然切换提供了平滑的用户体验 同时也调动 了用户使用该软件进行交互的积极性 通过反复的 评估和可用性测试使得该系统的人机交互界面在迭 代中不断完善 目前将基于心智模型的用户体验设 计运用在 交互的研究不多 这也是本文开展研 究工作的原因和目的之一 系统构成 本文提出的虚拟现实与增强现实混合式移动导 览系统 对目前业内常用的定位 识别后再跟 踪的技术方案进行了如下改进 首先使用 和传感器对指定范围内的所有 进行粗略定位 当用户选中目标后自动生成导航路径 用户到达 所在地后 进行观察点周围的复杂场景的识别 期 林 一等 基于心智模型的虚拟现实与增强现实混合式移动导览系统的用户体验设计 以及像素级的精确跟踪 以下的系统框架主要针对 场景识别和精确跟踪注册进行论述 系统框架介绍 鉴于当前智能手机客观存在软硬件限制的现 状 高速的实时图像识别计算任务适于在运算性能 更为强大的个人计算机 端 而非移动计算终端完成 因此本文提出的 采用了分布式体系结构 其中客户端与服务器 端分别承担各自的计算处理任务 云端的增强现实 服务器负载场景的离线学习以及在线识别 客户端 则计算户外场景中热点目标的跟踪并生成增强信息 内容 通过两端的数据处理和交换 能 够在手机平台上为用户提供跨越虚拟现实空间与增 强现实环境的独特人机交互体验 系统的整体运行框架如图 所 示 首先手机开启摄像头捕获场景的初始识别图像 并发送至云端的场景识别服务器 预先完成样本训 练的服务器对接收到的热点图像进行快速识别后向 手机端返回热点编号和场景特征信息 手机端根据 热点编号判断识别模块是否继续或停止发送热点的 图片 而后在使用场景特征信息和摄像头后续传递 的序列帧计算出位姿数据后 手机端的跟踪注册模 块持续的将移动设备的传感器数据不断传递给渲染 模块以实现虚拟标签的渲染和实时跟踪显示 最后 在人机交互阶段 当用户点击虚拟标签时 渲染模块 依照热点编号从数据服务器下载该热点对应的图 片 文字或模型信息 然后依次将这些目标信息分类 渲染展示 图 系统整体框架 为打破传统 移动运用在人机互动上的局 限 需要拓展互动的体验空间 因此基于心智模型以 用户的需求为中心进行交互设计 为实现两类交互 空间的自然切换 本文提出的 设计了 一个无缝的空间转换模式 如图 所示 户外 交 互部分以增强信息的形式主动向用户推送房屋导览 时用户所关注的房屋信息 如售价 面积 周边环境 交通状况和联系方式等 当用户选中某一套户型后 普遍希望能够深入查看户型内部的详细构造 此时 只需选择对应的房屋户型预览图 交互空间就自然 的过渡到 环境中 在全虚的三维环境中 用户不 仅能够以第一人称视角在房屋内部任意漫游 还可 以依据个人喜好对虚拟家具进行替换或调整室内布 局 完成室内交互后用户选中交互界面右侧下方的 按钮后 互动环境再次切换回 空间 图 和 场景的切换 系统的视觉设计由 和 完成 交互设计及代码构建使用 引擎开发 软件编译完成后以 格式发布 应用 计 算 机 学 报 年 程序在使用 系统的手机上安装并运行 分布式海量场景识别 加速稳健特征算法 是一个稳健的图像识别和描述算法 在户外场景识别方面 系统采用局部 特征算子 关键点 作为物体的特征描述 并结合了由 在 年提出的字典统计分析 算法 将物体的图像信息映射 成关键词集合 这种实现方法不仅能够保存图像 的局部特征又能有效地压缩图像的描述 根据构 建的关键词集合 采用支持向量机 分类器 实现目标的自动识别 将 技术应用于移动设备 意味着该移动设 备应具有实时图像采集 三维场景显示以及方位跟 踪的功能 这对于设备的计算处理能力和速度提出 了很高的要求 目前手持移动设备的计算处理能力 内存容量都还无法超越 机 为解决移动设备内 部数据处理能力有限的问题 本系统采用客户 服务 器应用模式 将计算量最大的目标自动识别模块交 由高性能的 服务器处理 移动设备与 服务 器通过无线网络进行数据通讯 跟踪注册 实时跟踪注册算法方面 系统采用基于关键帧 的实时摄像机跟踪算法 为了实现基于自然特征 的增强现实注册方法 在系统设计中采用了基于 双线程并行注册的策略 一个线程利用 算法 进行跟踪注册 另一个线程使用 特征匹配算 法进行宽基线注册校正 建立 和 的对应关 系 接着将基于模型的匹配信息与前后帧信息进行 融合构建目标优化函数 最后采用迭代优化算法 提 高跟踪定位的精度 为克服基于模型的方法进行跟 踪定位所存在的抖动问题 本系统采取将基于模型 的注册算法与序列帧技术相结合的办法进行姿态估 计的总体优化 式中 是摄像机非线性投影方程 分别表示 场景的三维空间点及其对应的图像坐标 为 摄像机当前帧与前一帧的姿态投影矩阵 代表通过非线性投影将三维空间点投影到二维 平面与图像真实位置坐标所产生的误差 表示跟 踪过程中投影点的丢失情况 即若跟踪丢失 则置为 表示基于模型的注册方法与基于前后帧的注册 方法的权值情况 该值由实验确定 表示基于序 列帧技术优化的函数 与传统的 应用的技术手段类似 混 合移动导览系统亦基于图像识别技术进行定位与 特征点跟踪 海量场景识别与跟踪注册流程如图 所示 图 海量场景识别与跟踪注册流程 基于认知心理学的用户体验设计 用户体验设计 在早期的产品设计过程中人们只注重产品的核 心功能 人机界面仅被当作所谓的 装饰 充其量不 过是一层包裹于核心功能之外的附属物 以传统的 电视遥控为例 设计师将几十个功能逐一通过功能 按钮的方式体现 这就是典型的脱离用户使用感受 的工程师思维 一个成年人在反复摸索后才学会了 使用电视遥控器 然而一个低龄儿童在无人指导下 就能够轻松使用 娱乐 这说明了以机器为中心 的传统设计思想设计的产品虽然满足了人们功能性 的基本需求 却带来感受性的缺失 电视遥控器与 对比的例子证明了最复杂的科技固然吸引眼 球 但这并非消费者所求 良好的使用感受才是人最 本源的需求 因此产生了用户体验设计的概念 用户体验 是用户在使 用交互产品过程中的主观感受 包括喜好程度 心理 反映 情感因素 认知印象等方面 当今最热门的 电子产品如 和 等 这些产 品在使用的过程中能给用户带来喜悦感和满足感 在软件的用户体验设计领域 近年来无论是谷歌 苹 果 微软和三星 还是国内的小米 魅族 都始终致力 期 林 一等 基于心智模型的虚拟现实与增强现实混合式移动导览系统的用户体验设计 于不断改善软件的用户体验 的指纹识别功 能 安卓系统 的全景摄像机 三星的眼控滚动功 能 的动态瓷片 都是对 用户体验的移动创新 当人们使用这些产品能够带 来愉悦感和满足感时证明工程师对于该软件用户体 验的把握是成功的 重视用户体验设计可以提高用 户满意度 增加交互设备受欢迎程度 如何规划用户 体验设计引导使用者获取良好的使用感受是本文研 究的重点 所以本文对于 的软件设计 也遵循了用户体验 设 计的 原则 即 以 受 众 为 中 心 开展设计研究工作 用户体验设计的核心思想是以用户为中心 基 于人机工程学和可用性工程的原理 综合视觉 布 局 交互和动作设计等方法 设计符合用户使用习惯 的产品 从认知心理学的角度来看 只有掌握了 用户是如何定义表征产品的