Ein wichtiger Wegbereiter für das KI-Musikschaffen war François Pachet, der ursprünglich an der Université Pierre et Marie Curie in Paris tätig war, bevor er zum SONY Computer Science Laboratory wechselte, um sich mit Experimenten mit KI in der Musikimprovisation zu befassen. Er schuf dabei unter anderem die erste KI, die in Echtzeit mit Jazz-MusikerInnen auf der Bühne interagieren konnte sowie mit „Daddy’s Car“ den ersten KI-generierten Pop-Song. Die Rolle von François Pachet als Pionier im KI-Musikschaffen soll in diesem Teil der Serie beleuchtet werden.
Beginnen wir mit dem Wetterbericht. Ob es morgen regnet, stürmt oder die Sonne scheint, hängt vom Wetter des heutigen Tages ab. Es können Wahrscheinlichkeiten angegeben werden, wie sich das Wetter entwickeln wird. Dieser stochastische Prozess kann mithilfe von sogenannten Markow-Ketten modelliert werden. Der russische Mathematiker Andrei Andrejewitsch Markow hatte Ende des 19. Jahrhunderts erkannt, dass sich zukünftige Ereignisse mithilfe der Wahrscheinlichkeitsrechnung mit historischen Daten bis zu einem gewissen Grad vorhersagen lassen. Um das zu belegen, wählte er ausgerechnet den Versroman „Eugen Onegin“ von Alexander Puschkin, um zu zeigen, dass die Aufeinanderfolge von Buchstaben nicht zufällig ist, sondern einem stochastischen Prozess folgt. Dazu analysierte er die ersten 20.000 Buchstaben des Textes nach der Häufigkeit des Vorkommens von Konsonanten und Vokalen und zählte 56,8 Prozent Konsonanten und 43,2 Prozent Vokale. Nun errechnete Markow die Wahrscheinlichkeit, mit der ein Konsonant auf einen Vokal und umgekehrt, folgen würde. Damit konnte er zeigen, dass die Wahrscheinlichkeit einer bestimmten Buchstabenfolge nicht willkürlich, d.h. zufällig ist, sondern das Ergebnis von den jeweils vorangegangen Buchstaben abhängt. Wir könnten nun sagen, dass sei trivial, weil Puschkin „Eugen Onegin“ nicht mit einem Becher voller Buchstaben gewürfelt hat, aber es steckt eine wichtige Erkenntnis in Markows Arbeit. Viele Ereignisse, wie z.B. das Wetter, sind nicht zufällig, sondern hängen von Vorereignissen ab, die sich durch stochastische Prozesse, also Markow-Ketten, beschreiben lassen.1
Lange Zeit blieb Markows Publikation zu diesem Thema unbeachtet, erlebte aber im Internet-Zeitalter eine Renaissance. So werden Markow-Ketten zur Erkennung von SPAM-Mails eingesetzt, bei der automatisierten Online-Werbung, in der Finanzmathematik zur Berechnung von Kurs- und Zinsenwicklungen und nicht zuletzt auch in der Musik. So hat der griechische Komponist Iannis Xenakis 1954 stochastische Musikstücke auf Basis von Markow-Ketten komponiert.2
Ebenfalls mit Markow-Ketten beschäftigte sich François Pachet, als er 1997 von der Université Pierre et Marie Curie zum SONY Computer Science Laboratory in Paris wechselte. Hier startete der passionierte Musiker mit seiner Forschung zu KI und Musik. Insgesamt zeichnete er für 35 Patente zu diesem Themenkomplex mitverantwortlich, wovon einige durchaus als bahnbrechend bezeichnet werden können.3 Die größte Aufmerksamkeit erregte wohl „The Continuator“. Es handelt sich dabei um einen Algorithmus, der in der Lage ist, mit Jazz-MusikerInnen gemeinsam in einer Jam-Session zu improvisieren. 2010 hat Pachet den Continuator in einem wissenschaftlichen Fachartikel4 ausführlich beschrieben. Pachets Ziel bestand darin, ein interaktives musikalisches System zu schaffen, das in der Lage ist, auf musikalische Impulse sofort zu reagieren und zu lernen, wie sich die Musik weiterentwickelt. Zur Umsetzung boten sich die Markow-Ketten an, die einen stochastischen musikalischen Prozess steuern, der nicht rein zufällig ist, sondern auf die gegebenen Musikinputs, wie Rhythmus, Takt und Harmonie reagiert, aber auch Ungenauigkeiten erkennt, wie sie z.B. im Live-Musizieren vorkommen. Zwar gab es bereits Versuche, Jazz-Musik mithilfe von Algorithmen nachzuahmen,5 aber einen Jazz-Algorithmus zu programmieren, der mit menschlichen MusikerInnen in Echtzeit zusammenspielen und improvisieren konnte, klang eher nach Science-Fiction. Das Experiment gelang und Jazz-KritikerInnen, die zu einem Hörtest geladen worden waren, konnten nicht unterscheiden, wer der menschliche und der KI-Interpret war.6
Ein weiteres Projekt von Pachet war die „Flow Machine“, die, wiederum basierend auf dem mathematischen Konzept der Markow-Ketten, sich durch Lernprozesse mit dem Stil einer Künstlerin oder eines Künstlers vertraut macht, aber dann durch Einschränkungen, die dem Programm vorgegeben werden, Abweichungen erlernt, die neuen Kombinationen führen sollen. So kombinierte Pachet den Bebop-Stil der großen Jazz-Saxophonisten Charlie Parker mit seriellen Kompositionen von Pierre Boulez, um daraus neuartige Musik, an der Grenze von Jazz und serieller Musik zu schaffen. So lassen sich mit der „Flow Machine“ alle möglichen musikalischen Stilrichtungen kombinieren und neue Werke hervorbringen.7 Sony hat nach dem Weggang von Pachet 2017 das Projekt „Flow Machines“ weitergeführt. Es soll Musikschaffenden ermöglichen, sich beim Komponieren neuer Musik unter die Arme greifen zulassen oder neue individuelle Musikstile zu kreieren, wie auf der unternehmenseigenen Webpage anhand von zahlreichen YouTube-Videos demonstriert wird.8
Mithilfe der „Flow Machine“ komponierte Pachet 2016 den wohl weltweit ersten KI-Pop-Song „Daddy’s Car“ im Stil der Beatles. Der Text dazu stammt allerdings vom Songwriter Benoît Carré. Das Endergebnis lässt sich in einem YouTube-Video nachhören und es klingt wie eine psychodelische Mixtur von verschiedenen Beatles-Hits.9 Pachet legte sogleich nach und produzierte gemeinsam mit dem Musiker SKYGGE, finanziert mit EU-Forschungsfördergeldern, das erste rein KI-erstellte Pop-Album der Musikgeschichte „Hello World“. Auf der Webpage des „Hello World“-Projekts10 ist nachzulesen, dass sich der Album-Titel auf die Anfangsaufgabe für ProgrammierschülerInnen, nämlich ein Programm zu schreiben, das den Text „Hello World“ auswirft, bezieht. Insgesamt wurden 15 Titel durch die KI generiert, die eine Vielzahl von Stilrichtungen abbilden: „This album is the result of that story. 15 songs were created by artists using Flow Machines: composers, singers, musicians, producers, and sound engineers, in many musical genres (pop, electronic, ambient, and jazz). With this diversity of skills, we had a single objective: use these new technologies to create novel, interesting music, yet music that would please our ears. „11 Das Album wurde aber erst 2018 veröffentlicht, nachdem Pachet im Juni 2017 als Leiter zum Spotify Creator Technology Research Lab (CTRL) gewechselt war, um dort seine KI-Kompetenzen einzubringen.
Peter Tschmuck
Dieser Artikel erschien erstmal am 18. März 2024 auf der Seite https://musikwirtschaftsforschung.wordpress.com/2024/03/18/ki-in-der-musikindustrie-teil-10-francois-pachet-the-continuator-flow-machines-und-daddys-car/
Teil 1: Was ist künstliche Intelligenz?
Teil 2: Wie funktioniert künstliche Intelligenz?
Teil 3: Der Aufstieg von Musikerkennungsdiensten
Teil 4: KI in der Musikerkennung und Musikempfehlung
Teil 5: Die Musikempfehlung im Musikstreaming
Teil 6: Fake-Streams und Streamingfarmen
Teil 7: KI in der Musikproduktion
Teil 8: Maschinen schaffen Musik
Teil 9: Die Vollendung des Unvollendeten
Peter Tschmuck ist Professor am Institut für Popularmusik (ipop) der mdw.
Endnoten
- Ein ausführlicher biografischer Abriss zu Andrei Andrejewitsch Markow und zu seinem Werk kann in Spektrum der Wissenschaft, „Andrei Markow (1856–1922)“ nachgelesen werden, 1. Juni 2016, Zugriff am 19.09.2023. ↩︎
- Pascal Descroupet, 2005, „Iannis Xenakis: Metastaseis (1953/1955)“, in: Hanns-Werner Heister, Geschichte der Musik im 20. Jahrhundert, 1945-1975, Laaber: Laaber Verlag, S. 129-133. ↩︎
- Eine Kurz-Biografische über Pachet kann auf seiner Homepage https://www.francoispachet.fr/biography-of-francois-pachet/ nachgelesen werden. ↩︎
- François Pachet, 2010, „The Continuator: Musical Interaction With Style“, Journal of New Music Research, Vol. 32(3), S. 333-341. ↩︎
- Siehe dazu Geber Ramhalo und Jean-Gabriel Ganascia, 1993, „Simulating Creativity in Jazz Performance“, AAAI ’93 Workshop on Artificial Intelligence & Creativity, Melon Park sowie John A. Biles, 1998, „Interactive GenJam: Integrating Real-time Performance with a Genetic Algorithm“, International Computer Music Conference (ICMC) 1998 at Ann Arbor. ↩︎
- Marcus du Sautoy, 2021, Der Creativity-Code. Wie künstliche Intelligenz schreibt, malt und denkt, München: C.H. Beck, Kindle-Ausgabe, Pos. 3543. ↩︎
- Ibid. Pos. 3655. ↩︎
- Sony CSL, „Flow Machines. Augmenting Creativity with AI“, o.D., Zugriff am 20.09.2023. ↩︎
- YouTube, „Daddy’s Car: a song composed with Artificial Intelligence – in the style of the Beatles“, 19. Juni 2016, Zugriff am 20.09.2023. ↩︎
- SKYGGE, „About Hello World“, o.D., Zugriff am 20.09.2023. ↩︎
- Ibid. ↩︎