Forschung & Entwicklung
Das ZiMMT ist nicht nur Konzert- und Ausstellungsraum, sondern auch Forschungslabor für immersive 3D- Audiotechnologien. Im Mittelpunkt stehen die Entwicklung und Erprobung von 3D-Audio-Software sowie die künstlerische Anwendung neuer Technologien. In Projekten wie Grapes, Spatial Clubbing, LEMM3D oder Mazetools werden praxisnahe Werkzeuge für kreative und performative Arbeitsprozesse entwickelt und erforscht. Die Forschung umfasst unter anderem den Vergleich verschiedener 3D-Audio-Algorithmen und deren Rezeption im Raum. Die Ergebnisse werden direkt in künstlerischen Produktionen erprobt und weiterentwickelt. Als Teil eines umfassenden Vermittlungsansatzes fördert das ZiMMT mit Hochschulkooperationen, Residenzprogrammen, Workshops und Formaten wie dem AV-Labor den Austausch zwischen Kunst, Wissenschaft und Technik und setzt neue Impulse in der Audiokultur.
Spatial Clubbing
3D-Audio ist in Kinos, Studios und in der Musikindustrie angekommen – nur die Clubszene bleibt bisher außen vor. Dabei wird Musik längst in 3D produziert. Was fehlt, sind performative Tools für DJs. Genau hier setzt das Forschungs- und Entwicklungsprojekt Spatial Clubbing an.
In Zusammenarbeit mit Grapes 3D Audio Control wird am ZiMMT ein System entwickelt, das bestehende DJ-Setups – wie CDJs, Plattenspieler oder Controller – um eine räumliche Dimension erweitert. Ein kompakter Zusatz-Controller ermöglicht die intuitive Steuerung von 3D-Effekten: Tracks werden beat-synchron und dynamisch im Raum verteilt, ohne dass DJs ihre gewohnte Arbeitsweise ändern müssen. Eine 3D-Audio-Engine übernimmt das Echtzeit-Rendering im Hintergrund. Erste Live-Tests, etwa im Rahmen des sens-Festivals im ZiMMT, zeigen: Immersives Clubbing funktioniert – technisch, künstlerisch und in puncto Publikumsresonanz.
Ein Game Changer für Spatial Audio: Grapes 3D Audio Control revolutioniert die Branche
Grapes ist ein einmaliges Tool zum Mischen, Performen und Steuern von 3D-Audio in Musik, Film, Theater, Kunst und Live-Shows. Es lässt sich als VST3-Plugin oder Standalone-Version nahtlos in bestehende Workflows integrieren und unterstützt OSC-Kommunikation mit Tools wie der IEM Plug-in Suite, Auralite, L-ISA, d&b Soundscape, SpatGRIS u.v.m. Dank einer intuitiven Benutzeroberfläche ermöglicht Grapes eine kreative und effiziente Arbeitsweise mit 3D-Audio – unabhängig vom genutzten Audio-Engine-System. Ob komplexe Klangchoreografien, immersive Klangwelten oder Live-Performances: Grapes eröffnet Künstler:innen völlig neue kreative Möglichkeiten. Entwickelt von der Not a Number GmbH in Leipzig, richtet sich Grapes an Sounddesigner:innen, Produzent:innen und Performer:innen weltweit, die 3D-Audio mühelos in ihre kreative Arbeit integrieren möchten.
Mazetools
Das Projekt experimentiert mit der Verbindung von Musik und Visualisierung und integriert multisensorische Elemente wie Berührung, Gesichts-, Hand- und Körpertracking. Es basiert auf einer künstlerischen Entwicklungspraxis innerhalb von Projekten wie audiovisuellen Performances, interaktiven Installationen und Studioproduktionen. Aus diesem Kern sind mehrere eigenständige, plattformübergreifende Anwendungen hervorgegangen, darunter Mazetools Soniface, Mutant und die VR-Anwendung Modyssey A Geom.
Entwickler von Mazetools ist der Musiker Stephan Kloß (Cheetah Dragon, Dr. Eck), Co-Entwickler ist Jakob Gruhl, Mitbegründer des ZiMMT. Beide sind Gründer des Kreativlabors Ectoplastic in Halle/Saale. Das Projekt begann 2011 mit einer intensiven Auseinandersetzung mit dem Verhältnis von Geometrie und Klangsynthese. Zentrales Merkmal des Projekts ist das visuelle Interface, die Verknüpfung von generativem Design mit eigens entwickelten DSP-Prozessen in einer objektbasierten Surround-Audio-Umgebung mit Schnittstellen zu Motion Tracking. Mazetools wurde in mehreren Performances im ZiMMT eingesetzt, insbesondere in Zusammenarbeit mit den Performerinnen Tomoko Nakasato und Mia Gara.
LEMM3D – Live Electronic Multichannel Mixer
LEMM3D ist eine einzigartige Software, die mehrkanalige Klangsynthese und -bearbeitung mit räumlicher Gestaltung in einem intuitiven Live-Setup vereint. Anders als viele Spatialization-Tools, die Klang und Raum strikt trennen, verknüpft LEMM3D beides von Beginn an: Klang wird zu Raum – und Raumgestaltung zur Klangmanipulation.
Die Software wurde primär für den Live-Einsatz entwickelt und eignet sich ideal für Konzerte, Improvisationen und avanciertes räumliches Sounddesign im Studio. Zu den herausragenden Funktionen gehören ein vollständig adaptiver, automatisierter Routing-Workflow sowie eine dynamische, kanalbasierte VST-Integration – wodurch sich auch herkömmliche Stereo-Plugins nahtlos in mehrkanalige Umgebungen einfügen lassen. Die Spatialization-Engine basiert auf den Spat-Algorithmen des IRCAM und bietet maximale flexibilität, z.B. durch die Möglichkeit verschiedene algorithmen wie Ambisonics, VBAP oder Wellenfeldsynthese gleichzeitig auf unterschiedlichen Channelstrips zu nutzen. Ein durchdachtes Makrosteuerungssystem vereinfacht die Live-Interaktion mit komplexen Parametern und ermöglicht eine intuitive und ausdrucksstarke, simultane Kontrolle über Klang und Raum.
LEMM3D verbindet Klang und Raum zu einem einzigen, ausdrucksstarken Instrument.
Sonic Moves
Sonic Moves ist eine innovative App für iPhone und iPad, die Musik, Bewegung und Technologie miteinander verbindet. Über Körperbewegungen können User:innen Klänge steuern, Musik performen oder interaktive Kompositionen erleben. Die App besteht aus zwei Teilen: dem Sonic Moves Creator, mit dem Kompositionen erstellt und Bewegungsdaten definiert werden, und dem Sonic Moves Player, mit dem diese Stücke gespielt werden können. Die Steuerung erfolgt über die Kamera des Geräts – wahlweise mit Webcam-basiertem Tracking oder über Apples ARKit.
Die Anwendung wurde von Marc-André Weibezahn konzipiert, entwickelt und gestaltet. Seit über sechs Jahren erforscht Marc-André die Verbindung von physischer Bewegung und digitaler Klangerzeugung. Co-Entwickler ist der ZiMMT Mitgründer Jakob Gruhl. Sonic Moves ist das gemeinsame Ergebnis einer kontinuierlichen Arbeit an der Frage, wie sich Musik durch Bewegung erlebbar und steuerbar machen lässt – eine Plattform, die technisches Know-how mit künstlerischer Vision verbindet.