我司将与汽车职业学校合作开发hololens混合动力现实开发汽车发动机辅助检修项目。
概要
该软件旨在通过学校自身的师资力量、教学场地和现有的教学设备,构建现代职业教育体系,加快学校现代职业教育的发展,培养符合本市经济发展需要的技术技能人才。 通过MR (混合现实)技术为发动机检修专业提供虚拟仿真教学课程的研究与开发、教学研究与实验实践平台。
目标
特色:在专业学习的基础上结合企业岗位实际生产需要设计软件进行MR教学。
实用性:虚实结合,强化培训提高教学效率。
创新性:利用最新的MR技术手段,让学生耳目一新,积极掌握知识点和技能。
数据性:利用软件教学,便于收集教学数据,直观表达教学结果,为教学分析和研究奠定基础。
简化计划
使用Microsoft的MR耳机HoloLens,安装并使用软件。
在MR教育场景中,整合现实和虚拟世界生成新的可视化环境,生成的虚拟对象为全息图像,如三维模型、窗口、菜单等。
通过从头凝视虚拟对象和手势操作,实现虚拟交互。 例如,点击按钮、拖动物体等。
识别现实世界的物体,进行学生实际操作的智能评价系统等功能开发。
HoloLens直播将设备中所见所闻的虚实结合场景投入大屏幕,让所有学生都能看到,方便教学。
在服务器上保存HoloLens教程的操作数据和部分视频。
后台管理系统,管理和显示师生和教育数据的信息等。
远程教育和指导,老师可以用电脑指导戴HoloLens的学生操作。
界面截图:
远程指导
教师利用虚拟仿真界面、实时操作视频进行实时、随机、示范性动作
现场直播教学
通过直播视频开展教育展示
混合现实教育
学生可自助操作,虚拟模拟与现实操作高度融合
完美重叠的视频教程屏幕
方案的实施
本方案为了编制发动机气门的检修教学,今后编制发动机其他部分的检修可相应地增加到本软件中。
全息显示例
UI :用于显示菜单、按钮、文本或图像信息; 用于用户输入信息。
三维模型和动画:模型用于显示零件或工具的外观,动画用于显示零部件的拆装和工作原理。
功能说明
学生登录后可以使用本软件进行教育。 登录方式是在软件的初始画面中输入学校号码和密码。
登录成功后,选择上课次数。 上课次数由老师在后台编辑,老师告诉学生应该选什么课次数。 系统默认为最新的课程次数。
进入课堂后,学生的学号、姓名、课时数、课时名称总是显示在视野的一定位置,如左上角。 本方案中教学名称仅为“发动机气门检查”。
选择教学模式进行教学。 教学模式分为学习模式、练习模式和评分模式。
学习模式:让学生了解零件、工具的使用、拆装过程。
练习模式:学生进行实物操作,有全息界面提示,学生可以随时看到目前应该如何操作。
评分模式:学生进行实物操作,软件在一定程度上识别学生的操作进行智能评分。
live holo lens教程
老师可以用电脑登录全息管理平台(LAN的ip ),直播全息内容。 其他学生可以在连接到电脑的显示设备上观看将全息照相用户戴在头上体验的全过程。 老师对一个学生进行指导,其他学生都受益,可以提高教学效率。 除评分模式和远程指导教学外,可进行直播。
远程指导教育
使用HoloLens的skype软件,老师可以在电脑上进行一对多的远程指导,也可以用skype软件进行视频、语音甚至制图指导。 老师用电脑制作的图,在戴着全息透镜的学生眼前转换成全息图像。
教育数据的收集和保存
数据分为文本数据和视频数据,两者相辅相成。
文本数据:记录软件操作日志。 例如,登录状况、所选择的教育模式、教育模式的使用状况等。
视频数据: live house与远程指导教学可以通过电脑观看视频,并通过视频软件录制屏幕。 评分方式如果需要录制视频,可以在HoloLens管理平台录制,但每部视频只能录制5分钟,用文本数据记录下这一教学过程。
文本数据将被自动记录并提交到服务器进行保存。
视频数据必须由老师手动录制,并将录制的视频文件通过后台管理界面上传到服务器进行保存。
后台管理系统
师生数据和教育数据管理平台。
教育模式的内容
学习模式
组件和专用工具通过静态模型和UI进行展示,模型可以移动、旋转、缩放。
拆装过程在三维动画和UI中展示。
以下是展示内容
1 .零件:
进排气凸轮轴
挺杆
进排气阀
p>2.专用工具:
1)
2)
3)
3.拆装过程:
凸轮轴的拆卸
气门挺柱的拆卸
气门的拆卸
凸轮轴安装
气门挺柱的安装
气门的安装
练习模式
全息界面提示操作流程,辅助学生实际操作。
练习前进行拆装分步选择,与学习模式的拆装过程类似,分成6步。选择后,全息界面提示当前拆装的步骤提示。
例如进行“凸轮轴的拆卸”,界面上提示,可以点击上一步下一步按钮查看提示,点击下一步之后,提示,点击上一步,又回到之前的提示,以此类推。
另外还可随时点击动画按钮,查看动画演示。
评分模式
老师在教学前,先在后台管理系统设置这次教学的内容(具体设置见后台管理系统介绍)。
学生进入评分模式后,系统会提示需要评分检测的内容,是否检测到内容会有标记提示。检测内容分为步骤检测和零件检测。另外,有“维修记录单”和“提交”按钮。“维修记录单”点击后出现记录单通过手势点击完成填写;“提交”点击后显示此次教学的评分。
1.步骤检测,系统会用实物识别检测是否完成此步骤,识别顺序按照步骤顺序(以下图片为检测实物)。
1)进、排气凸轮轴拆卸
2)全部气门挺柱的拆卸
3)对指定的一个汽缸的两组进、排气门进行拆卸
4)对指定的一个汽缸的两组进、排气门进行组装
5)全部气门挺柱的组装
6)进、排气凸轮轴组装
2.零件检测,系统会用实物识别一些拆卸过程中的关键零件,以辅助评分。
进排气凸轮轴
气门挺柱
进排气门
3.维修记录单
主要内容按照下图表格
填写表格方式
合格/不合格:点击选择
处理部分:点击选择,选择项有“正常”和其他后台设置好的选项
数字部分:点击填写处,虚拟键盘填写。
检测答案方式
根据后台设置好的正确答案核对。
4.提交
系统将此次评分数据(包括步骤检测、零件检测、维修记录单)上传到后台保存,并显示最终评分。
评分初步设定:
项目
小项
评分
步骤检测
进、排气凸轮轴拆卸
8
全部气门挺柱的拆卸
3
对指定的一个汽缸的两组进、排气门进行拆卸
14
对指定的一个汽缸的两组进、排气门进行组装
14
全部气门挺柱的组装
3
进、排气凸轮轴组装
8
零件检测
进排气凸轮轴
4
气门挺柱
3
进排气门
4
维修记录单
进排气门外观检查
4
进排气门长度测量
6
进排气门头部直径测量
6
进排气门锥面接触面宽度测量
6
汽缸盖上进排气门座接触面宽度测量
6
进排气门对气门座同心度检查
5
气门与气门座接触面的位置检查
6
总计
100
后台管理系统
登录身份
登录身份分为管理员、老师、学生。
管理员:最高权限,可以查看和操作所有数据
老师:可以编辑和查看自己的数据以及查看所教学生的数据
学生:可以查看自己的数据
后台内容
1.管理员
编辑和查看老师信息数据
账号/工号
初始密码固定123456
姓名
所教班级
编辑和查看学生信息数据
账号/学号
初始密码固定111111
姓名
班级
编辑和查看班级信息数据
班级编号
班级名称
编辑和查看教学内容信息数据
教学编号
教学名称
编辑和查看教学数据
可根据班级、教学名称和教学老师筛选
课次:系统根据老师编辑课次内容自动生成
时间:上课的时间
班级
教学老师
学生操作记录:登录、选择的教学模式、评分模式数据(包含各项评分和总分)、老师评语
教学视频:老师上传的此课次的视频
2.老师
修改自己的密码
新建或修改课次内容
时间:上课的时间
教学名称
班级:使用此课次的班级
评分模式内容:选择一个已经设置好的内容,供评分模式教学使用。
新建或修改评分模式内容
教学名称
评分模式数据:以“发动机气门的检修”为例,需设置“维修记录单”中各个数据的标准答案。
上传教学视频文件
选择课次后上传
查看教学数据
只可以查看自己的教学数据,数据内容同第1点管理员的第5小点。
可以给学生操作记录添加或修改评语。
3.学生
1)修改自己的密码
2)按照课次查看评分模式数据及老师评语
技术/项目方法
建模、三维动画:3D Max
UI设计:Photoshop、Flash等
前端程序:Unity3D
后台程序:PHP+MySQL
录屏工具:Apowersoft录屏王或其它同类软件
实物识别:Vuforia AR SDK