Bild KI

Bild (c) pixabay

KI in der Musikindustrie – Teil 5: Die Musikempfehlung im Musikstreaming

Eines der wichtigsten Anwendungsgebiete von künstlicher Intelligenz in der Musikindustrie ist die Musikempfehlung in Musikstreamingdiensten wie Spotify. Die Geschichte der Musikempfehlung reicht zurück in die frühen 2000-er Jahre, als LastFM mit dem Audioscobbler und Pandora mit dem Music Genome Project Internetradio zum Musikstreaming umformten, auf dem Spotify dann mit der Echo Nest-Technologie aufbauen konnte.

1999, als das P2P-Filesharing-Netzwerk Napster gerade die Schlagzeilen beherrschte, trafen sich der Österreicher Martin Stiksel und der Deutsche Felix Miller auf einem Konzert. Die beiden Computer-Nerds waren sich einig, dass Napster nicht geeignet ist, neue Musik zu entdecken und beschlossen, in London das Netlabel „Insine“ zu gründen, um neue Musik sichtbar zu machen.1 Auf einer Party trafen die beiden Labelbetreiber auf den Wiener Thomas Willomitzer, der für eine Softwarefirma als Programmierer arbeitete und am Londoner Ravensburn College unterrichtete. Der Job am College war ihm vom Vorarlberger Michael Breidenbrücker vermittelt worden, der nun als vierter im Bunde zu „Insine“ stieß. Irgendwann im Jahr 2001 wurde die Idee geboren, ein Internetradio ins Leben zu rufen, das die Hörgewohnheiten der NutzInnen abgleicht und auf dieser Basis dynamische Playlists erstellt und neue Musik empfiehlt.2 Damit lag das Grundkonzept von LastFM vor. Ende März 2002 ging die Beta-Version von LastFM online. Die NutzerInnen konnten mit Ratings ein Musikprofil erstellen, das dann mittels kollaborativem Filteralgorithmus mit Profilen anderer NutzerInnen abgeglichen wurde. Es handelt sich dabei um einen sogenannten Nächsten-Nachbarn-Algorithmus, der auch Amazon verwendete.3

Im November 2002 wurde LastFM als Kapitalgesellschaft in London eingetragen. Allerdings fehlte dem neuen Unternehmen ein Geschäftsmodell und die Musikdatenbank, die aufgrund unerschwinglicher Lizenzkosten nicht auf legalem Weg aufgebaut werden konnte. An diesem Punkt kam Richard Jones ins Spiel. Jones war 2002 im letzten Jahr seines Computerwissenschaftsstudiums an der Universität Southampton. Er hatte über das kollaborative Filtern gelesen und überlegte sich, wie diese Methode zum Entdecken neuer Musik eingesetzt werden könnte. Das Grundprinzip war einfach: Wenn du die Bands A, B, C und D gern hörst und jemand anderer die Bands B, C, D und E, dann solltest du dir auch die Band E anhören, sie könnte Dir gefallen. Um diese Idee umzusetzen, programmierte Jones ein Plug-in für den Winamp-Player von Windows, wodurch in Echtzeit getrackt werden konnte, welche Musik gerade abgespielt wurde. Damit war der Audioscrobbler erfunden, der auch sein Abschlussprojekt für sein Studium war. Wer diese Software auf seinem Computer installierte, konnte sich ein Musiknutzungsprofil erstellen, das über den Audioscrobbler-Server mit anderen Profilen verglichen werden konnte, um Ähnlichkeiten im Geschmack aufzuspüren und neue Musik zu empfehlen.4

Die Funktionalität des Audioscrobblers war die entscheidende Ergänzung für das dynamische Playlisting von LastFM. Die beiden Systeme unterstützten sich perfekt und 2003 kamen die LastFM-Gründer und Jones überein, den Audioscrobbler in das Internetradio zu integrieren. Jones wurde zudem mit 15 Prozent am Unternehmen beteiligt, wie er in einem Interview mit evolver.fm zum zehnten Geburtstag des Audioscrobblers erzählte.5 2003 erregt LastFM erste mediale Aufmerksamkeit und ließ die NutzerInnen-Zahlen schlagartig ansteigen, was sogar zu einem Serverzusammenbruch führte und das Online-Portal für zwei Monate außer Gefecht setzte.6

2004 hatte das Unternehmen immer noch mit finanziellen Schwierigkeiten zu kämpfen, aber dank der medialen Berichterstattung stieg der Investor Stefan Glänzer, der zuvor erfolgreich eine Internet-Auktionsplattform aufgebaut hatte, 2005 ins Unternehmen ein. Ein Jahr später konnte mithilfe der Risikokapitalfirma Index Ventures der wirtschaftliche Betrieb von LastFM nachhaltig abgesichert werden. Das ursprünglich als „letztes“ Internetradio gegründete Unternehmen mutierte zu einem Musikstreamingdienst, der mit dem Audioscrobbler über eines der ersten KI-gestützten Musikempfehlungssysteme verfügte.7

Mit den stark steigenden NutzerInnen-Zahlen wurde  LastFM zum Vorreiter für Spotify & Co. und erregt die Aufmerksamkeit des US-Mediengiganten CBS, der am 30. Mai 2007 den Kauf von LastFM um US $280 Millionen verkündet. Zu diesem Zeitpunkt waren zwei der LastFM-Gründer bereits aus dem Unternehmen ausgestiegen und so profitierten nur Miller, Stiksel und Jones vom warmen Geldregen, bevor sie 2009 schließlich auch LastFM verließen.8 Trotz steigender NutzerInnen- und Umsatzzahlen gelang es der CBS nicht aus LastFM ein profitables Unternehmen zu machen. Jahr für Jahr fuhr es Verluste ein9 und 2011 wurde es auf ein reines Bezahlservice umgestellt.10 Ende April 2014 kam dann das Aus für das Musikstreaming-Angebot von LastFM, das ab diesem Zeitpunkt als Social-Media-Plattform und Empfehlungssystem für Musik weitergeführt wurde.11

Ein anders gelagertes Konzept als die Gründer von LastFM verfolgte der Silicon-Valley-Unternehmer Will Glaser, als er im November 1999 die Idee hatte, gleichsam die DNA von Songs anhand von zahlreichen Attributen zu identifizieren und damit Ähnlichkeiten zwischen Songs zu erkennen. Er setzte diese Idee in die Tat um, als er auf den Musikproduzenten und Komponisten von Filmmusik, Tim Westergren, traf, der sich mit ähnlichen Fragen der Musikerkennung beschäftigte. Gemeinsam hoben sie das Music Genome Projekt mit Jon Kraft und Jeffrey Stearns aus der Taufe und reichten ein Patent ein, in dem das technische Verfahren wie folgt beschrieben wird: “ Each song is also represented by an n-dimensional database vector in which each element corresponding to one of n musical characteristics of the song. An n-dimensional source song vector that corresponds to the musical characteristics of a source song is determined. A Distance between the source song vector and each of database song vector is calculated, each distance being a function of the differences between the n musical characteristics of the source song vector and one of source database song vector. The calculation of the distances may include the application of a weighted factor to the musical characteristics of resulting vector. A match song is selected based on the magnitude of the distance between the source song and each database songs after applying any weighted factors.“12 Vereinfacht gesagt, hat ein Song 150 bis 450 Eigenschaften, die als „Musikgene“ bezeichnet werden und die den Song einzigartig machen. Mithilfe eines Algorithmus können nun Songs, die ähnliche Gene aufweisen erkannt und den HörerInnen vorgeschlagen werden.13

Um das Music Genome Projekt zu monetarisieren, gründeten Glaser, Westergren und Kraft im Januar 2000 Savage Beast Technologies. Ziel war es damals noch nicht, ein Musikstreamingservice auf Basis des Music Genome Projekts zu etablieren, sondern ein Musikempfehlungssystem für Musikeinzelhandelsgeschäfte und Musik-Onlinevertriebe wie CD-Now oder eMusic anzubieten.14 Im März 2000 stellte ein namentlich nicht genannter Investor US $1,5 Millionen als Startfinanzierung zur Verfügung. Mit diesem Geld konnte Savage Beast Industries operativ tätig werden und mit der Kundenakquisition beginnen. Das Musikempfehlungssystem war ursprünglich als B2B-Dienst angelegt und der erste Kunde, der es nutzte, war die Musikeinzelhandelskette Tower Records, die in ihren Stores in New York City, Los Angeles und San Francisco Kioske installierte, über die KundInnen den Katalog von Tower Records durchsuchen und mithilfe der Musik-DNA neue Songs entdecken konnten.15

Im Februar 2003 gelang es, einen Deal mit dem damals größten US-amerikanischen Interprovider AOL an Land zu ziehen. AOL-KundInnen konnten Savage Beast zum Durchsuchen von Musikkatalogen nutzen, um ähnliche Musiktitel zu entdecken und personalisierte Playlists zu erstellen.16 Trotz dieser Kooperationen bewegte sich Savage Beast am Rande des wirtschaftlichen Absturzes und das Unternehmen wurde erst im November 2004 gerettet, als ein Konsortium rund um Walden Venture Capital US $7,8 Millionen zur Verfügung stellte. Auf den Walden-Gründer, Larry Marcus, geht auch die Idee zurück, Savage Beast in ein Internetradio mit Musikempfehlung umzuwandeln, das ursprünglich als reines Abo-Modell gelauncht wurde, aber später durch ein werbefinanziertes Angebot ergänzt wurde. Im Zuge der Neupositionierung wurde das Unternehmen im Juli 2005 in Pandora umbenannt und nahm im September desselben Jahren seinen Betrieb auf.17

Im Gegensatz zu klassischen Musikstreamingdiensten wie Spotify oder Apple Music ist Pandora ein nicht-interaktives Service, über das Musiktitel nicht direkt gesucht werden können. Man gibt stattdessen einen Startsong ein und das Musikempfehlungssystem schlägt dann ähnliche Songs vor. Ein Zurückspulen oder Wiederholen eines Songs ist nicht möglich. Es können lediglich Songs, die einem nicht gefallen, übersprungen werden.18 Deshalb wird Pandora auch zu den Internet- und Satellitenradios gezählt und lizenziert die Musik über die 2003 geschaffene Musikverwertungsgesellschaft SoundExchange, deren Tarifstruktur vom US Copyright Royalty Board vorgegeben werden.19 Das ist auch der Grund, warum Pandora nur in den USA und Kanada verfügbar ist.

Die folgenden Jahre sind von einem soliden Wachstum geprägt. Lag die Anzahl der aktiven NutzeInnen Ende 2009 noch bei 7 Millionen, so hat sich dieser Wert ein Jahr später auf 16 Millionen mehr als verdoppelt. Auch die Einnahmen stiegen in diesem Zeitraum von US $19 auf 55 Millionen.20 Damit waren die Voraussetzungen für einen Börsengang geschaffen, der im Juni 2011 erfolgte und Pandora mit dringend benötigtem Kapital versorgte.21 Trotz wachsender NutzerInnen-Zahlen in den Folgejahren, gelang es Pandora nicht, in die Gewinnzone zu kommen. 2015 wurde ein Nettoverlust von rund US $170 Millionen ausgewiesen,22 der sich bis 2017 noch auf US $518 Millionen vergrößerte.23

Die finanziellen Schwierigkeiten von Pandora führten im Mai 2017 dazu, dass das Online-Ticketingportal Ticketfly, das zwei Jahre zuvor erworben worden war, um US $200 Millionen an Eventbrite verkauft werden musste.24 In etwa zur gleichen Zeit wurde bekannt, dass Sirius XM, einer der größten Betreiber von Satellitenradio-Stationen in Nordamerika, Pandora kaufen würde. Der US $3,5 Milliarden-Deal wurde im September 2018 finalisiert und rettete Pandora vor dem wirtschaftlichen Untergang.25 Trotz des neuen Partners und frischer finanzieller Mittel im Rücken, setzte sich der NutzerInnen-Schwund der letzten Jahre fort. Pandora, dass in den Jahren vor der Sirus XM-Übernahme in den USA noch mehr aktive UserInnen als Spotify hatte, fiel danach immer weiter hinter den Hauptkonkurrenten zurück und zählte Ende 2022 in den USA nur mehr rund 50 Millionen aktive NutzerInnen pro Monat, was einem Rückgang von 20 Millionen NutzerInnen im Vergleich zu 2017 entspricht.26 Ob der UserInnen-Schwund durch den Einsatz neuer KI-gestützter Modelle aufgehalten werden kann, darf bezweifelt werden. Es scheint so zu sein, dass eines der frühesten auf KI beruhende Musikempfehlungssysteme am Ende seines Lebenszyklus angekommen ist und nun Platz für andere KI-Lösungen machen muss.

Mit dieser Problematik muss sich auch Spotify beschäftigen. Der schwedische Musikstreamingdienst hatte früh auf künstliche Intelligenz bei der Erstellung von Playlists gesetzt und dafür im März 2014 das KI-Start-up Echo Nest um US $50 Millionen gekauft.27 Spotify war bereits zuvor ein Kunde von Echo Nest, dessen Technologie die Basis für Spotifys Playlisten wie „Discover Weekly“ ist.

Echo Nest wurde 2005 von den beiden MIT-Absolventen Tristan Jehan und Brian Whitman gegründet. Jehan hat bereits in seiner Doktorarbeit „Creating Music by Listening“ (2005) ausführlich die Möglichkeit der Musikempfehlung mittels maschinellen Lernens erkundet, um damit nicht nur ähnliche Musikstücke zu erkennen, sondern auch neue Musik hervorzubringen. Es ist daher kein Zufall, dass in seinem Doktorratskomitee kein geringer als François Pachet saß.28 Vor allem in den Kapiteln 4 („Musical Structure“) und 5 („Learning Music Signals“) legt Jehan dar, wie aufgrund von musikalischer Strukturanalyse gute Voraussagen für die Musikempfehlung mittels maschinellem Lernen möglich ist.29

Die theoretischen Überlegungen wurden schließlich zum Ausgangspunkt für das Projekt „The Music Brain“. Die Idee dahinter war, das Netz nach Musikinformationen auf Blogs, in Playlists, Diskussionsforen etc. mithilfe eines Algorithmus abzusuchen, um Trends und Online-Musikverhalten zu detektieren. „The Music Brain“ wurde zum Herzstück von Echo Nest.30 Das zweite Standbein war der Aufbau einer riesigen Musiktiteldatenbank, wobei nicht gesamte Musikaufnahmen, sondern nur 30 Sekunden-Samples eines jeden Songs berücksichtigt wurden, um urheberrechtliche Probleme zu umschiffen. Im März 2011 veröffentliche Echo Nest gemeinsam mit dem LabROSA der Columbia University eine für Software-EntwicklerInnen frei zugängliche Musikdatenbank mit mehr als 1 Million Titel.31 Ein paar Monate zuvor war es Echo Nest gelungen, US $7 Millionen an Finanzkapital von Matrix Partners und Commonwealth Capital Ventures einzusammeln, um die wirtschaftliche Lage des Unternehmens zu stabilisieren.32 Im Juli 2012 hatte ein Konsortium rund um Norwest Venture Partners Echo Nest weitere US $17,3 Millionen zur Verfügung gestellt,33 bevor das Unternehmen von Spotify gekauft wurde.

Als Tochterunternehmen von Spotify konnte Echo Nest nunmehr auf eine riesige Musik- und NutzerInnen-Datenbank zurückgreifen und den Algorithmus für Musikempfehlungen trainieren. In einem Beitrag für TechCrunch im Oktober 2014 gewährte Echo Nest einen seltenen Einblick in die Funktionsweise des Algorithmus. Ziel der Datenanalyse ist es, individuelle Geschmacksprofile für die Spotify-NutzerInnen auf Basis der Metadaten der gestreamten Musik zu erstellen. Dazu werden zahlreiche Attribute wie Mainstream-Orientierung, Aktualität der gehörten Musik, Diversität im Musikhören, Entdeckung von Musik, die später einmal populär sein wird, der NutzerInnen erhoben. Die so erstellten Profile werden in einem weiteren Schritt statistisch abgeglichen und Ähnlichkeiten in der Nutzung aufgedeckt. Das entspricht der Methodik des kollaborativen Filterns, wobei aufgrund der riesigen, verfügbaren Datenmengen wesentlich genauere Vorhersagen über den Musikgeschmack einzelner UserInnen gemacht werden können. Zusätzlich identifiziert Spotify auch die bevorzugten Genres der HörerInnen und ordnet KünstlerInnen und Bands diesen statistischen Clustern zu, die auch als Playlists verfügbar gemacht werden. Dabei spielt die menschliche Kuratierung weiterhin eine Rolle, um die Playlists lebendig und abwechslungsreich zu gestalten.34 Aber das ist immer noch nicht alles. Darüber hinaus schuf Echo Nest eine fortschrittliche Suchmaschine, die den originellen Namen Truffle Pig, zu Deutsch Trüffelschwein, trägt. So wie die tierischen Artgenossen den TrüffelliebhaberInnen die Plätze der wertvollen Pilze erschnüffeln können, ist die Suchmaschine in der Lage, die für jeden Geschmack passende Musik zu finden und in Playlists zusammenzufassen. Dabei bedient sich Truffel Pig an Song-Eigenschaften und Gefühlen, die mit einem Musikstück verbunden werden.35

Mit Echo Nest konnte Spotify einen führenden Entwickler von KI-gestützter Musikidentifikation und -empfehlung ins Unternehmen integrieren und so einen wichtigen Grundstein für seine Vormachtstellung am Streamingmarkt legen. Aktuell (Stand Januar 2024) erfasst Spotify mehr als 1.500 Musikgenres, die als Basis für die Musikempfehlung an seine NutzerInnen dienen und auf der Webpage „Every Noise at Once“ nachgehört werden können.36

Peter Tschmuck

Dieser Artikel erschien erstmal am 12. Feber 2024 auf der Seite https://musikwirtschaftsforschung.wordpress.com/2024/02/12/ki-in-der-musikindustrie-teil-5-die-musikempfehlung-im-musikstreaming/

Teil 1: Was ist künstliche Intelligenz?
Teil 2: Wie funktioniert künstliche Intelligenz?
Teil 3: Der Aufstieg von Musikerkennungsdiensten
Teil 4: KI in der Musikerkennung und Musikempfehlung
Teil 6: Fake-Streams und Streamingfarmen
Teil 7: KI in der Musikproduktion

Peter Tschmuck ist Professor am Institut für Popularmusik (ipop) der mdw.

Endnoten

  1. Tonspion, „Das letzte Radio. Last.FM-Mitbegründer Martin Stiksel im Gespräch mit Walter Gröbchen“, 3. Dezember 2007, Zugriff am 29.01.2024. ↩︎
  2. Die bewegte Gründungsgeschichte wird ausführlich in einem Beitrag auf Futurezone, „Zwist und Intrigen bei Last.fm“, 31. August 2009, Zugriff am 29.01.2024., nacherzählt. ↩︎
  3. Dushani Perera et al., 2020, „A Critical Analysis of Music Recommendation Systems and New Perspectives“, in: Human Interaction, Emerging Technologies and Future Applications II, Proceedings of the 2nd International Conference on Human Interaction and Emerging Technologies: Future Applications (IHIET – AI 2020), 23.-25. April 2020 in Lausanne, S. 83. ↩︎
  4. The Guardian, „The essential selector“, 6. März 2003, Zugriff am 29.01.2024. ↩︎
  5. Wired, „The Man Who Invented Scrobbling and Changed the World“, 28. November 2012, Zugriff am 29.01.2024. ↩︎
  6. Futurezone, „Last.fm: Absturz und Neubeginn“, 1. September 2009, Zugriff am 29.01.2024. ↩︎
  7. Futurezone, „Last.fm: Turbulenzen und Verkauf“, 2. September 2009, Zugriff am 29.01.2024. ↩︎
  8. Ibid. ↩︎
  9. TechCrunch, „Last.fm reveals £2.84m loss – bulk of users still in UK, despite CBS ownership“, 3. Dezember 2010, Zugriff am 29.01.2024. ↩︎
  10. Heise.de, „Last.fm: Mobiles Radio nur noch für zahlende Kunden“, 7. Februar 2011, Zugriff am 29.01.2024. ↩︎
  11. Billboard, „Last.fm Pulls Out of Radio Streaming, Plugs in YouTube“, 26. März 2014, Zugriff am 29.01.2024. ↩︎
  12. United States Patent and Trademark Office, „Consumer item matching method and system“, U.S. Patent 7,003,515. ↩︎
  13. Pandora, „About the Music Genome Project“, o.D., Zugriff am 29.01.2024. ↩︎
  14. Vator News, „When Pandora was young: the early years“, 4. April 2017, Zugriff am 29.01.2024. ↩︎
  15. Ibid. ↩︎
  16. Ibid. ↩︎
  17. Ibid. ↩︎
  18. Pandora, „How Pandora works“, o.D., Zugriff am 29.01.2024. ↩︎
  19. Geoffry P. Hull et al., 2011, The Music Business and Recording Industry: Delivering Music in the 21st Century, 3. Auflage, New York und London: Routledge, S. 101-103. ↩︎
  20. Pandora Internet Radio, Jahresbericht 2012, S. 40. ↩︎
  21. Billboard, „Pandora IPO Prices Above Expectations at $16 per Share“, 14, Juni 2011, Zugriff am 29.01.2024. ↩︎
  22. Pandora Media Inc., Jahresbericht 2015, S. 68. ↩︎
  23. Pandora Media Inc., Jahresbericht 2017, S. 65. ↩︎
  24. Music Business Worldwide, „Eventbrite to acquire Ticketfly from Pandora for $200m“, 12. Juni 2017, Zugriff am 29.01.2024. ↩︎
  25. Music Business Worldwide, „Pandora acquired by SiriusXM in $3.5bn deal“, 24. September 2018, Zugriff am 29.01.2024. ↩︎
  26. Music Business Worldwide, „Pandora now has fewer than 50m monthly active users“, 2. November 2022, Zugriff am 29.01.2024. ↩︎
  27. Billboard, „Spotify Acquires the Echo Nest“, 6. März 2014, Zugriff am 29.01.2024. ↩︎
  28. Tristan Jehan, 2005, Creating Music by Listening, Doktorarbeit am Massachusetts Institute of Technology (MIT), September 2005, MIT: Cambridge/Mass. ↩︎
  29. Ibid. ↩︎
  30. Vator News, „The Echo Nest raises $7M led by Matrix“, 5. Oktober 2010, Zugriff am 29.01.2024. ↩︎
  31. Echo Nest Pressemitteilung, „Echo Nest, Columbia University Launch Million Song Dataset“, 4. März 2011, Zugriff am 29.01.2024. ↩︎
  32. TechCrunch, „The Echo Nest Raises $7 Million For Music Personalization Platform„, 5. Oktober 2010, Zugriff am 29.01.2024. ↩︎
  33. Billboard, „The Echo Nest Raises $17 Million, Plans to Branch Out From Music Discovery“, 12. Juli 2012, Zugriff am 29.01.2024. ↩︎
  34. TechCrunch, „Inside The Spotify – Echo Nest Skunkworks“, 19. Oktober 2014, Zugriff am 29.01.2024. ↩︎
  35. Wired, „Inside Spotify’s Hunt for the Perfect Playlist“, 28. Juli 2015, Zugriff am 29.01.2024. ↩︎
  36. Spotify, „Every Noise at Once“, 13. Dezember 2023, Zugriff am 03.01.2024. ↩︎