When a pianist is playing on a MIDI keyboard, the computer does not know with which hand a key was pressed. With the help of a Recurrent Neural Network (RNN), we assign played MIDI notes to one of the two hands. We compare our new approach with an existing heuristic algorithm and show that RNNs perform better. The solution is real-time capable and can be used via OSC from any programming environment. A non real-time capable variant provides slightly higher accuracy. Our solution can be used in music notation software to assign the left or right hand to the upper or lower staff automatically. Another application is live playing, where different synthesizer sounds can be mapped to the left and right hand.

Neben der Entwicklung computerbasierter Musikinterfaces und Musikinstrumente stellt deren Erprobung und Nutzung im realen Kontext des Musik- und Konzertlebens eine Herausforderung dar. Konferenzen wie die Mensch & Computer stellen üblicher Weise die Dinge stärker aus der Sicht der Technikentwickler denn aus der Anwendersicht dar. In diesem Paper soll am Beispiel von zwei Streichern explizit aus der Musikersicht, deren Wertevorstellungen und Prioritäten dargestellt werden, wie mit computerbasierten Streichinstrumenten gearbeitet wurde, welche konkreten Herausforderungen anlagen und wie in diesem Fall damit umgegangen wurde. Es werden die technischen Setups, die eingesetzte Software und die künstlerischen Beweggründe für die Auswahl der Komponenten sowie deren Programmierung dargestellt. Weiterhin wird anhand eines Konzerts die Einbindung von Musik für computerbasierte Streichinstrumente dargelegt. Es wird eine Zukunftsidee vorgestellt, welche es interessierten Streicher*innen erleichtern soll, Zugang zu neuen computerbasierten Streichinstrumenten zu bekommen.

Immersions ist eine Performance Elektronischer Musik, die in Echtzeit die inneren Vorgänge eines Neuronalen Netzes sonifiziert. Dabei werden durch ein Optimierungsverfahren Klänge generiert, die bestimmte Bereiche des Netzwerks aktivieren. So wird hörbar, wie Musik in diesem künstlichen Ohr klingt. Zusätzlich werden die Vorgänge auch visualisiert, um eine möglichst immersive Erfahrung zu schaffen und es erlaubt Einzutauchen in die Tiefe Künstlicher Intelligenz.

The Airborne Instruments nUFO – NonTrivial UFO – is a new Digital Musical Instrument (DMI) that is designed to allow the musician completely free movement of the interactor object in space (airborne). Non-triviality (after H. v. Foerster) is mainly implemented through synthesis processes with a rich “inner life”, i.e. apparently intrinsic behavior, more akin to synthetic creatures than conventional instruments.
The innovative Influx parameter mapping allows for a rich interaction with these processes with little or no training, making it suitable both for beginners that are enabled to create highly immersive sound worlds, and for experienced musicians in search for radically new physical approaches to digital synthesis.

We introduce the first prototype of a web application for digital musicology: BeyondTheNotes. BeyondTheNotes is a tool to support the in-depth analysis of individual pieces of music as well as the large scale analysis and comparison of summative features of multiple pieces of music. In contrast to existing tools, BeyondTheNotes is ready to use without installation, enables the upload and analysis of own material and offers different visualizations of musical metrics like the chords, pitches, durations and key. We design the tool according to the User Centered Design Approach to improve the usability and address the specific needs of musicologists. We describe the results of the requirement analysis and discuss future steps.

Nowadays spectrograms are often used for the analysis of audio signals.

Usually, process and analysis tools are separated. Although manipulations within the visualization of the analysis results are more understandable. Spectral editing does directly manipulate the frequency-domain within a spectrogram. Here, affine transformations especially scaling is highlighted for the creative use in spectral editing.

Die kreativen Möglichkeiten der Klanggestaltung von Synthesizern ist nahezu unerschöpflich. Gerade Musiker, die keine tiefgehenden Kenntnisse in der Synthesizerprogrammierung haben, stehen hier oft vor dem Problem, dass sie der vielen Parameter nicht Herr werden. Randomize-Funktionen und Trial-and-error-Ansätze führen wenn überhaupt nur sehr zufällig zu zufriedenstellenden Ergebnissen. Presets können auch eine Herangehensweise sein, die Möglichkeiten des Synthesizers zu erforschen, erfordern jedoch eine Umfangreiche Vorarbeit von Experten. In meinem noch laufenden Projekt „Exploring Sound with your Hands“ versuche ich einen neuen Ansatz mittels Hand-Tracking-Devices zu entwickeln. Hand-Tracking Devices ermöglichen es im Kontext von Musik-Interfaces die Position der Hände über dem Schreibtisch zu erkennen und diese Daten für kreative Zwecke zu nutzen. Simpelste Anwendung: Wird die Hand hoch gehalten, erhöht es die Lautstärke, wird die Hand nach unten bewegt, wird die Lautstärke verringert. Anders gesagt: In dem Beispiel wird über die Y-Achse genau ein Parameter, die Lautstärke gesteuert.

Im Projekt „Exploring Sound with your Hands“ sollen hingegen 10, 20 oder mehr Parameter des Synthesizers gleichzeitig gesteuert werden. D. h. die Hand steuert durch den mehrdimensionalen Parameterraum des Synthesizers. Mögliches Anwendungsgebiet: Musiker können sich durch die klanglichen Möglichkeiten des Synthesizers navigieren ohne sich mit allen technischen Details auseinandersetzen zu müssen.

Hier kommt die Kombination von User Experience und Künstlicher Intelligenz zum Einsatz. Damit die Nutzer solcher gestengesteuerter Musiksoftware den vollen Nutzen daraus ziehen können, müssen wir ihre mentalen Modelle kennen. Wir müssen die Möglichkeiten und Grenzen von gestengesteuerten Interaktionen kennen, denn die Hände im luftleeren Raum zu verwenden, bedeutet auch ungewohnt wenige Begrenzungen zu haben. Nutzer möchten meist die Interaktionen individuell auf ihre Bedürfnisse anpassen. Damit dies nicht zur komplexen Programmieraufgabe ausartet können wir die User Experience mittels künstlicher Intelligenz enorm vereinfachen: Die Nutzer können quasi der Software mitteilen „Wenn ich die Hand so halte [z.B. als Faust] dann spiele bitte diesen Ton.“

Richard Bretschneider wird von Möglichkeiten und Herausforderungen solcher Interaktionen erzählen als auch eine kurze Vorstellung eines solchen Hand-Tracking Devices und dessen Anwendung vorführen.

Earcons have become an important part of the human-computer interaction. In addition to the visual presentation of a user interface, the use of the auditory channel enriches software-side entities with information. Additionally, earcons can significantly improve interaction and effectively communicate complex information. Often Earcons are created with the expertise of a sound designer. How can the creation be simplified so that earcons can be created and organized by ordinary users? This paper shows of a tool for creating earcons based on the hierarchical structure of compound earcons to positively enhance the user experience in an interactive environment.