AR云系统方案

超现实空间AR云系统

(一) 系统概述

1. 建设原则

完整性：AR云平台应提供体系完备、功能完整、架构完善的服务能力，基础的服务包括网络服务、虚拟主机、分布式数据库、分布式存储、负载均衡、分布式计算。功能上包含账户管理、图识别、素材管理等。AR编辑器应可以提供全方位的素材编辑功能，包括但不限于视频、模型、文字、超链接等。AR插件应提供AR扫描功能，支持二维码、图片的扫描方式。

可扩展性：增强现实新媒体技术平台应具备云基础资源的快速、弹性扩充服务能力，提供大规模、分布式资源的管控能力，通过增加物理设备，实现总体网络资源、计算/存储资源、内存资源和数据库资源、大数据平台资源的自动弹性扩展；提供横向扩展能力，可根据业务、管理要求增加云计算服务节点。功能模块可扩展：根据业务需要，可支持功能模块的新增或调整，灵活应对新业务而对系统的扩展；数据接入可扩展，支持新的基础数据接入与配置。

开放性：AR插件以API的方式提供开放接口，可以和第三方软件产品集成、兼容，便于软件开发商针对业务需求进行软件开发。

成熟性：AR云平台云平台应采用先进的设计思想和方法，符合技术发展趋势。云计算平台应该经受过高并发、高可靠的实践验证，确保采用的技术体系经过更大适用范围的验证。

可靠性：AR云平台云平台应支持冗余、自恢复、高可扩展编程模型，允许应用系统从不可避免的硬件、软件错误中恢复，确保应用系统的正常运行和数据存储的安全可靠，包括远程、跨节点的容灾机制等。系统应具备高可用性，高容错能力及快速故障恢复能力。整个系统的服务满足高可用性，满足用户业务处理要求，充分考虑备份和恢复策略，保证数据的一致性、完整性以及灾难恢复，系统应有足够的错误抗容和恢复能力，在出错甚至意外崩溃时，能保证处理事务的完整性，灾备环境应与生产环境保持程序、数据一致，生产环境故障，灾备环境可以立即接管，整个系统的服务满足7*24小时可用，页面响应性能必须在可接受的范围内，对系统存在的bug应及时修复避免造成生产事故。

安全性：安全性包括两个方面，一个是安全：主要指防止外部对网络的攻击和入侵；另一个是保密：主要指防止网络内部信息的泄漏。满足对信息系统安全管理规范的要求，系统需具有数据和操作的安全及权限策略。

2. 项目目标

本项目所建设的手机APP增强现实（AR）应用业务层面，满足监管要求和内部管理要求，充分体现创新能力，为用户提供从虚拟数字化服务到可视化增强现实场景服务的新颖使用体验。

增强现实新媒体技术平台采购项目以增强现实智能技术为基础，提供了高效、低成本的内容生成、管理和发布工具。

建设内容：搭建增强现实新媒体技术平台，包括AR云平台、AR插件。平台支持对于第三方流量入口的扩展，可以通过AR云平台实现AR数据的统一分发和资源的聚合共享。

项目满足一下基本要求：

1) 项目以云的形式建设；

2) 项目所包含的产品具备良好的扩展能力和兼容性；

3) 项目所包含的产品对于硬件、网络等环境不能有特殊依赖性，符合通用性标准；

4) 基于云服务器商的资源弹性分配，提升使用效率

5) 基于传统管理方式上的敏捷化自动化的资源管理

6) 基于平台的海量图片的检索识别功能提供云端图像识别功能

7) 基于PaaS平台实现部分业务的微服务化

8) 提供符合需求的PaaS服务和SaaS应用，及服务应用的接入方式。

(二) 系统功能设计

1. 整体功能

增强现实应用系统平台提供了一种更高效、低成本的AR编辑和应用平台。运营人员可以通过平台编辑器方便的编辑AR内容，跟报纸业务相关联，打通线上和线下。用户可以通过App更加快速的、更自然的交互方式访问关联到业务内容。平台结构图如下图所示：

平台结构图

本平台是一个通用的可扩展平台。主要由管理后台、运营分析、AR编辑器、App、第三方内容、AR插件等几大部分构成。

2. 用户管理后台

1）  用户通过管理后台可以方便的创建对应的虚拟App，管理跟应用相关的识别目标和素材。可以对手机APP增强现实（AR）应用内容进行统一管理，实现后台功能与管理系统建设。 

2）   用户通过管理后台可以方便的创建虚拟APP，并对于APP进行管理；用户通过管理后台应可以应用相关的识别目标和素材进行管理。功能包括不限：AR内容创建、更新、删除、查看、资源管理、存储、分发;云平台可支持数据的统一分发，资源的聚合共享；在微信、支付宝、QQ入口开放的前提下，AR云平台可支持上述入口的接入，并进行相关素材的管理。 

用户管理后台

3. 运营分析和管理 

运营人员和技术人员可以通过管理后台方便的获取运营数据。如用户量统计、用户操作数据据、App运行状态、后台运行状态等数据。实现客户信息查询、指定客户（黑名单、白名单）信息查询；

同时运维人员还可以通过后台实时监控服务器状态、用户数据交互时，实现数据安全管理与控制；在高峰期间可以方便的进行服务器加速、动态扩容。对业务数据提供丰富的可视化查询报表，报表功能可按实际需要进行定制；实现业务实时监控、异常监控；

运营管理和分析 

4. AR编辑器

AR编辑器主要提供给运营人员使用，运营人员可以通过可视化的编辑界面，利用拖、拽等操作编辑AR素材，实现多媒体素材，如视频、图片、3d动画形象、文字等和识别目标的关联。本编辑器不需编辑人员具有专门的知识，大大减少部署和运营成本，更简单自然，并有更强大的视觉表现能力，在增强用户互动等方面具有巨大潜力。

编辑界面支持利用拖拽、旋转、缩放等操作；同时使用输入框来进行数据的更改；编辑器支持多媒体素材，如视频、图片、3D模型、文字等和识别目标的关联；编辑器支持素材发布功能；支持手势关联效果的在线编辑；支持图像和识别目标的相对位置编辑；支持AR标签编辑功能；支持事件编辑；支持流程编辑；支持脚本；支持微信小程序的效果编辑。

编辑器示意

5. AR插件

在本平台中，一个后台可以支持所有的前端App。移动端的AR能力以插件的形式集成到主App，或者其他的第三方App中。用户使用智能手机摄像头扫描目标，平台用人工智能方法识别目标身份及空间3D坐标，把相关电子信息直接叠加到图像中，实现“虚实融合”。例如旅游时扫描识别物即可获得跳转到对某业务的页面。

1） 用户使用手机APP中AR功能，调用摄像头扫描识别识别物，如图片报导、一些主题宣传logo等，展示AR场景；同时用户通过屏幕与场景内的AR特效模型交互，实现趣味性、创意性虚拟场景服务等功能。

2） 可在Android、IOS多平台运行，支持不同屏幕分辨率、不同操作系统版本。

3） 插件会提供以下的主要能力：

2D图像识别和跟踪：提供基础的图像识别和跟踪技术。

3D渲染技术：提供轻量化的渲染引擎。

二维码扫描：提供二维码扫描功能。

3D slam跟踪 ： 提供场景的3D跟踪功能，提供多种初始化方式。

微信小程序插件功能：支持在微信小程序中调用云识别功能，具备场景渲染能力，交互能力；集成js渲染模块：可在微信小程序中进行基础渲染；云平台数据接口：可以关联云平台，编辑器的内容；支持模型的旋转，移动等操作，支持IMU调用

6. 第三方内容

本平台具有极强的可扩展性和兼容性。可以根据业务形态聘请第三方内容公司利用平台制作跟业务相关的交互内容。

7. 功能列表

 (三) 系统技术架构设计

1. 系统总体设计

本系统将采用AR功能嵌入式开发方案，其整体结构如下图所示：

系统总体结构

上图为整体的结构图，HiAR SDK 嵌入模块中的子模块可根据用户的实际需求进行删减或模块选择，图中部分模块说明：

• APP：客户现有线上APP。

• 业务功能及接口：根据客户的实际功能需求定制的功能。

• AR交互：根据用户的需求定制的AR效果。

• AR逻辑：根据用户的需求，融合2D图像识别或空间姿态感知，并结合3D渲染引擎制作AR展现逻辑。

• 云服务插件：与HiAR云服务对接模块，主要用于用户动态内容更新。

• 空间位置感知：提供姿态估计算法

• 2d图像识别：提供图像的识别算法

• 2d图像跟踪：提供对于目标区域的跟踪算法

• 3d渲染引擎：提供场景的渲染模块

• 手势识别：提供基础手势识别功能。

• 手势控制：提供手势控制功能。

• 3D场景定位：提供3D的slam 场景定位功能。

2. 云平台

根据用户的需求可以在用户指定的硬件环境中进行私有部署和集成。

1) 系统硬件：系统硬件拓扑结构如下图所示：

硬件拓扑结构图

HiAR 服务器以64位CentOS7 进行部署运行，识别服务器对CPU 和内存的需要比较大，尤其大图片量的情况下，所以识别服务器采用 8核双线程CPU、128G 内存，存储Raid5 1.2T的实体机部署，提高识别服务的处理速度。基于 KVM 的虚拟化技术，为业务服务器提高灵活的扩充能力。

物理架构图

2) 逻辑结构 ：HiAR 平台的逻辑结构清晰明确，模块与模块之间的依赖多以单向的依赖，减少了相互依赖带来的维护上的麻烦。

逻辑结构图

HiAR 平台对外提供内容和识别的API，账号服务、内容服务和识别API 服务提供业务的处理服务，Publish 服务为内容管理服务提供图片的发布处理，识别资源管理服务识别服务器资源，记录图片的发布的识别服务器和识别服务器的资源。

Feature Service 和 Search Service 为识别算法的核心服务，采用顺序调用的结构顺序，Feature Service 将收到的用户图片进行索引提取的处理，提取成功，发送 Search Service 进行识别的检索，完成后返回识别的结果，识别服务器会将识别的图片，去数据库进行检索查询关联的资源内容。至此，一个完整的云端识别流程也就完成了。

3. 硬件平台

1) 服务器配置：

根据系统中不同的应用服务，可以将对应的物理服务器分为计算型、存储型和通用型三个类型。各个型号的推荐配置如下：

• 计算型，CPU： Intel Xeon E5-2630v3 x 2，内存：16GB x 8，硬盘：RAID5，SAS硬盘

• 存储型，CPU： Intel Xeon E5-2620v3 x 2，内存：16GB x 4，硬盘：RAID10，SAS硬盘或SSD

• 通用型，CPU： Intel Xeon E5-2620v3 x 2，内存：16GB x 4，硬盘：RAID5，SAS硬盘

• 其中存储型以2台为基础，通用型以3台为基础，计算型以2台为基础，根据用户所需容量和并发访问要求确定具体所需数量。

• 以上基本配置支持20W图集，并发峰值128/s，如支持500并发，需要增加4台计算型服务器。

• 除计算类和存储类服务外，性能消耗较低的服务可使用虚拟机部署，降低硬件成本。

2) 集群架构：

物理架构图

服务器集群架构如上图所示，各层服务均可部署多个节点组成高可用集群，不存在单点服务，根据实际并发进行横行扩展。

3) 网络设备：

按上述服务器规模，还要求配备两台千兆交换机。

4) 带宽：

平台对带宽要求不大，用于静态文件的可以使用 CDN，存在大流量的情况比较少，流量的压力在大并发的文件上传时比较容易发生，可针对流量来限制并发上传文件数。

除以上陈述到硬件设施外，没其他特殊硬件需求。

5) 系统部署工具：

(四) 关键技术和优势

本项目涉及到的关键技术主要包括图像识别技术、基于图像的跟踪注册技术、手势识别、手势控制技术。

1. 二维图像识别和跟踪

在本项目中大量使用了2D图像识别跟踪技术，该技术分为识别和跟踪两大部分。识别部分通过图像特征点匹配的方式识别现实场景中存在的识别图片，跟踪部分根据识别图片的特征点信息进行空间姿态计算。

由于该算法由我司自主研发，所以针对特殊的图像，我司还可以提供算法定制服务，该服务可保证前瞻性及后续的扩展性提供基础。

应用验证：腾讯手Q线上QQ-AR模块、苏宁易购2016双十一抓萌狮活动、苏宁易购2017新年红包活动、如新AgeLoc新品AR展示等

2. 开发模式

由原生方式开发，可方便嵌入现有的APP，无需引入第三方工具，方便开发三维渲染技术

HiAR3D是我司自主研发的3D渲染引擎，该引擎以OPENGLES为基础，通过我司专业的3D研发人员经过1年的研发及工程优化而成，支付全面的3D引擎渲染功能。

功能支持：3D模型、属性动画、骨骼动画、精灵、粒子、声音（.ogg、.wav）、物理引擎、GLES、光照（预处理光照、直射光、点光源）、交互（鼠标、Touch、Multi-touch、键盘、虚拟键盘）。

应用验证：汽车之家AR看车功能、苏宁易购2016双十一抓萌狮活动、苏宁易购2017新年红包活动、如新AgeLoc新品AR展示等。

由于该算法由我司自主研发，并且经过了多个项目的验证，特别是汽车之家项目中无论在渲染效果、性能都得到了充分展示。另外，我司专业的研发团队经验更是保证项目顺利实施保证质量的基础。

3. 云识别

我司AR云是国内首款上线的AR平台。这是国内AR一体化平台我司为开发者提供的云API开发平台。强大的云端服务器计算/存储能力可以将识别数据扩大上千倍，同时精度可以进一步提升，对内容提供商而言，其应用场景得到了巨大的扩展。其次，云识别可以将用户的识别数据收集于后台，通过智能算法进行处理，向内容提供商做出用户习惯分布、内容访问频率统计、未来行为预测等大数据分析结果，以此获得相比于本地识别更优质的反馈和产品迭代建议。通过标准化的数据，可以将将上游和下游的用户融合，让数据创造更多价值，为用户提供更佳体验。

云识别流程如下图所示。系统由三部分构成，由离线训练部分，这一部分的主要目的是通过机器学习算法，使用随机的数据集合训练通用的场景特征。第二部分是图像库的生成部分，将需要识别的目标图像利用第一部分得到的通用特征来描述，并将描述向量入库。第三部分为在线的识别部分，分为特征提取，特征压缩，查询，几何校验部分，最后返回查询后的目标图像的ID。

识别系统结构

4.3D场景定位技术

3D场景即时定位和地图创建功能，支持场景的实时跟踪和场景点云生成，支持弱纹理区域的跟踪，支持点云数据的存储。

3D场景定位模块为我司自主研发，具备单帧、点云、图像等多种初始化方式，方便用户在多场景下使用。运算速度快，单帧运算速度可以达到10ms/s。兼容性强，可以支持主流的android，ios新系统的移动终端。