年9月 2017 Theme: 虚拟乐器
客座编辑导言: Roger B. Dannenberg 和 Timothy K. Shih

虚拟现实(VR)、增强现实(AR)和混合现实(MR)系统为用户提供了逼真的模拟。众所周知,VR / AR / MR的典型应用是游戏,但你是否知道他们还可以用于创建虚拟乐器(VMI)呢?

虚拟乐器可能会也可能不会直接模仿传统的真实乐器。真实乐器可以产生美丽的音乐,但是受到物理和声学限制,学习真实乐器也很难。而通过消除许多这些限制,虚拟乐器设计人员可以专注于新的挑战,例如

  • 让乐器更易于学习;
  • 适应不同的表演者;
  • 产生新的电子音响;
  • 在乐句或曲目级别操作,而不仅仅是在音符级别;
  • 用音乐智能支持表演者;
  • 允许多个表演者之间的协作配合。

今日计算九月主题奉献给大家的是关于虚拟音乐3D用户界面设计和实现的文章和视频。虽然一些虚拟音乐仍处于初步设计阶段,但这些乐器在音乐游戏、音乐教育和现场音乐表演方面已经表现出极大潜力。

虚拟乐器的技术挑战

即使虚拟乐器完全模仿传统乐器,用户也不总能以完全相同的方式弹奏。存在的技术挑战包括:

  • 精准的手指跟踪和音符标记映射。 大多数虚拟乐器只用到手势。尽管先进的传感器可以跟踪手指,但是在三维自由空间中跟踪多个手指仍是个难题。此外,传感器容量限制了音符标记的数量(例如,很难表示所有的钢琴琴键)。
  • 触发和姿态策略。 大多数真实乐器具有触发音符并持续控制这些音符的机制。即使三维手指跟踪机制合理,对多个参数进行实时的有效控制也很困难。
  • 硬件设备配置。 为了实现精确的跟踪和音符触发,视频传感器的位置和方向需要避免被手指遮挡。有些情况下,多台摄像机是必要的(例如,跟踪小提琴演奏者的左右手可能需要两台摄像机)。
  • 触觉反馈。 大多数音乐家都依赖于特定真实乐器的力反馈来控制音量和颤音等音乐表现。虚拟乐器很难实现力反馈。虽然音频反馈也有帮助,但缺乏触觉反馈的界面可能难以使用。
  • 声音资源选择。 大多数虚拟乐器使用带有现成音响库的MIDI(乐器数字接口)。MIDI只能提供有限的控制和音响范围。然而,也有可能开发提供更好控制的声音合成算法。

无疑,未来的技术进步将解决绝大部分挑战。

本期文章

在文章“ 沉浸式虚拟乐器的场景 ”中,Florent Berthaut,Victor Zappi和Dario Mazzanti分析了沉浸式虚拟乐器的各种舞台设置。该分析基于六个因素:观众可见度、音乐家可见度、观众沉浸感、音乐沉浸感、手势连续性和虚拟-真实融合。作者认为呈现和环境对虚拟乐器的应用和欣赏很重要。

文章“ ChromaChord:一种虚拟乐器 ”介绍了ChromaChord。该乐器使用VR耳机(Oculus Rift DK2)和手动跟踪摄像头(Leap Motion控制器)。额外的传感器检测耳机运动,用来准确对齐位置标记并调整乐器设置。作者John Fillwalk举例说明了在设计虚拟乐器时考虑传感器以及显示功能和限制的作用。

在文章“ 间隔播放器:设计一种使用空中手势演奏的虚拟乐器 ”中,Wallace Lages和他的同事们描述了另一种使用Leap Motion、但采用不同方法来触发旋律音符的虚拟乐器。在该虚拟乐器中,手势控制间隔变化方向和速度。间隔代表两个音符之间的距离,最大间隔为五。非主导手可以协奏。

Marcio Cabral和他的同事们在文章“ Crosscale:一种三维虚拟乐器界面”中介绍了他们的虚拟乐器。可触摸的虚拟球体映射到音符和和弦,音高出现在二维网格上。相比于一维键盘布局,音高网格上的简单轨迹可以更容易产生音乐模式。该系统使用Oculus Rift进行可视化,采用Razer Hydra进行手势输入。

在文章“ Cirque des Bouteilles:吹瓶的艺术”中 ,Daniel Zielasko和他的同事们描述了一个三维界面。其中,用户可以使用麦克风将空气吹入虚拟瓶子,虚拟空气流在视觉上代表吹的力度。用户用Leap Motion控制器选择瓶子,Oculus Rift DK2显示一个映射用户手势的虚拟手模型。

Alec G. Moore和他的同事在文章“ Wedge:一种面向创作和演奏的适合作曲的沉浸式环境音乐界面 ”中强调了他们的沉浸式音乐作曲系统。用户将键盘音符拖动到所需位置,通过垂直堆叠来创建和弦。这种结构有助于用户专注于作曲序列和和弦,而不是单个音符。

Nikolas Burks,Lloyd Smith和Jamil Saquer使用Microsoft Kinect传感器开发了一种虚拟低音木琴。文章“ 用于音乐教育的虚拟木琴 ”详细介绍了虚拟乐器如何跟踪三维空间中的真实槌,以及用用户控制杆的相对位置来触发相应音符。

理解声音和图像之间的关系对于改进虚拟乐器很重要。Rob Hamilton的“面向虚拟空间中过程性音乐和音频映射的感知连贯性分析”通过改变头像运动属性和交互式合成声音属性之间的关系,分析了听众是如何建立动画头像和声音之间的关系的。