庄晓、邵申弘：基于VR技术进行钢琴结构线上教学的研究3-3钢琴结构虚拟现实教学系统的设计及应用 250310

基于VR技术进行钢琴结构线上教学的研究3-3钢琴结构虚拟现实教学系统的设计及应用

文/庄晓雪  邵申弘（沈阳音乐学院音乐科技系）

百花齐放、百家争鸣是学术的基本态度。作为学术平台，霸拓推送（并不代表认同）能引发思索的文章。

三、钢琴结构虚拟现实教学系统的设计及应用

本项目以卧式钢琴为教学对象，利用VR技术搭建基于Unity3D的钢琴结构教学系统，完成对钢琴结构整体、局部虚拟仿真教学的实现。系统设计通过软件和硬件相结合，包括钢琴零部件模型构建、用户界面设计实现、系统交互的实现等，最后对完成的系统进行集成发布。

图1 卧式钢琴结构建模图

（一）钢琴结构三维建模

为了高度还原钢琴结构教学过程，采用3Ds Max对钢琴内外部结构进行建模（图1）。通过收集钢琴的三维模型图片、尺寸和形状信息、材料属性等资料，在3Ds Max中构建零部件模型。由于钢琴内外部结构包含许多不规则且精细的零部件，为提高建模效率和模型检修工艺适配度，将其进行分层建模。对初步建造的模型进行轻量化处理，然后进行材质设置与贴图烘焙。为给用户提供更具有真实感体验，采用Substance Painter对模型进行PBR材质贴图，在此之前需要对模型进行拓扑、展UV操作，为最终材质贴图的效果提供保证。在Substance painter软件中制作好材质效果后，将贴图导出到Unity引擎中，为下一步实现交互功能奠定基础。

（二）基于Unity3D引擎进行交互设计

钢琴结构虚拟现实教学系统借助Unity 3D进行开发（图2）。首先将FBX格式的模型文件导入Unity 3D的资源文件夹Assets中，调整模型位置与模型间的相对关系，并进行检查和调整；针对需要调整或修改的模型细节，可以自己进行材质与贴图的后期编辑。

虚拟现实教学需要将模型与操作者进行虚拟交互，利用C#脚本语言进行交互开发，3D模型交互功能主要采用VR一体机（Pico）和手柄来实现。

图2 利用unity 3D开发的钢琴结构各部分零件的拆装功能

为了将VR钢琴结构教学变成现实，需要创建基于此设想的3D模型，这里通过使用Pico设备和PC端相结合的方式开展模型的创建，从而实现模型开发过程中开发者制作可视化和模型成果可供使用者佩戴头戴式设备进行体验等优势。具体建设过程如下[6]：

首先进行开发前的准备，为了方便开发，在Pico开发者平台里下载预览工具，安装官方所提供的apk包。

其次进行基础配置，将操作平台切换至安卓平台，在Package Manager中安装XR Interaction Toolkit，并导入官方提供的3个Sample。在Package Manager中安装XR Plugin Management，用于简化XR插件管理的包，提供有关XR插件的加载、初始化、设置和构建支持的帮助和管理功能。之后在Pico开发者平台安装SDK，此时安装的SDK是LTS版本，目前支持Neo3和Pico4系列。导入官方的Json文件并且在XR Plugin Management的Android和PC中勾选Pico，最后将Starter Assets中的预设文件添加为默认，从而提供给Unity用户学习和扩展使用的Player控制器的功能，包括人物移动、跳跃、加速奔跑以及摄像机控制。

在基础配置准备就绪后进行Pico项目配置，第一步进行添加XR Origin，第二步给双手控制器添加预设，最后打开Preview Tool进行测试，直到看到Pico和两个手柄都生效，到这一步刚好结束对于Pico项目的配置。

最后是添加基础功能，以达到完善操作过程。在VR钢琴结构教学中，在虚拟平台中玩家需实现移动、射线指示、射线抓取物品等功能。根据不同功能添加相应组件，然后将制作的脚本和3D模型通过mono编译成资源，再通过Unity选择相对应的平台进行打包。Unity 3D支持多平台的发布，系统发布后便可在所发布的独立平台上运行。

（三）钢琴结构虚拟现实教学系统的应用及评估

钢琴结构虚拟现实教学系统构建完成后，邀请十名相关专业学生进行初步应用并在自主体验结束后进行访谈和问卷调查（图3），主要围绕“是否接受该教学模式”“能否提高学习效率”“能否激发学习兴趣”等方面进行调查分析。

图3 学生体验钢琴结构虚拟现实教学系统

调查结果显示所有参与者均能接受虚拟现实教学模式，认为该教学模式新颖有趣，能够提高课堂吸引力。关于学习效率，大部分学生认为VR教学平台让每个学生都能全方位观察到钢琴各部分结构，课后还能重复学习，在一定程上提高了学习效率。70％的学生认为虚拟现实教学最大的优势是不受时空的限制。结合问卷调查结果对学生进行一对一访谈，钢琴结构虚拟现实教学在学习效率、互动体验和便捷程度等方面占有优势，具有一定推广应用的价值。但还存在一些不足之处，例如教学内容不够完善，钢琴结构细节的设计还有待加强。因此，在今后的研究中将对本系统进一步地完善及优化。

结论

文章利用建模技术、虚拟现实技术，以卧式钢琴的结构为原型，从虚拟现实教学的角度出发，在Unity平台上对钢琴结构虚拟现实教学项目进行开发设计，实现了钢琴结构的虚拟可视化，为师生带来沉浸式的教、学体验。虚拟现实技术与教育相结合形成一种崭新的线上教育模式，突破师生教学过程中时间和空间的局限性，满足学生在线学习的需要，进一步提高学生的技能水平，不断优化和提升钢琴结构课程教学模式和学习者参与方式。

参考文献:

[1]杜颖著.VR+教育:可视化学习的未来[M].北京:清华大学出版社,2017.

[2]L.Ding and V.Chau.C0nstructi0n 0f Interactive Higher Educati0n M0del Based 0n VR+Internet[J].Wireless C0mmunicati0ns and M0bile C0mputing.2022.

[3]刘琳,刘明著,虚拟现实VR基础建模实例教程[M].北京:中国水利水电出版社,2019.

[4]邵申弘著.钢琴结构概论[M].沈阳:辽宁教育出版社,2009.

[5]陈清奎,魏鑫鑫,何芹等.基于“VR+云平台”的机械类专业实验教学模式改革与实践[J].实验技术与管理,2020,37(07).

[6]CSDN.Unity 3D VR开发——XR Interacti0n T0llkit(Pic0Ne 03)[EB/0L].https:bl0g.csdn.net/weixin_46711336/article/details/128760928.