KI in der Musikindustrie – Teil 3: Der Aufstieg von Musikerkennungsdiensten

29. März 202429. Januar 2024

Die Musikerkennung war eines der frühesten Anwendungsgebiete für künstliche Intelligenz im musikwirtschaftlichen Kontext. Bereits Anfang der 2000-er Jahre wurde mit KI versucht, Musikstücke zu identifizieren und Genres zuzuordnen. Die Pioniere auf diesem Gebiet waren das Open-Source-Projekt MusicBrainz und die Unternehmen Gracenote, Shazam und SoundHound. In weiterer Folge wird die Geschichte dieser vier Pioniere der Musikerkennung vom einfachen Audio-Fingerprinting bis zu ausgefeilten KI-Anwendungen nacherzählt.

Es ist offensichtlich, dass Software zur Musikerkennung bzw. -identifikation mithilfe von künstlicher Intelligenz schneller und präziser arbeiten kann. KI kann musikalische Muster erkennen und mit Datenbanken abgleichen, um zu erkennen, um welches Musikstück es sich handelt. Allerdings ist die Musikerkennung kein Kind der KI-Revolution, sondern seine Entwicklung reicht zurück ins vorige Jahrhundert, als die Musikindustrie begann, sich zu digitalisieren. Es war ausgerechnet die CD, die den ersten Anstoß zur Entwicklung einer Musikerkennungssoftware gab.

1993 hatte der damals 30-jährige aus Taiwan stammende Informatiker Ti Kan, der in den USA Computerwissenschaften studiert hatte, die Idee, für Computer ein Programm zu entwickelt, das den Inhalt von Musik-CDs erkennen und als Audioinformation ausgeben konnte. Es war die Zeit, in der die CD gerade zu ihrem wirtschaftlichen Höhenflug ansetzte und als Tonträger angesehen wurde, der mit einem CD-Player abgespielt werden konnte. Anfang der 1990-er Jahre klang die Vorstellung abwegig, eine CD in ein Computerlaufwerk zu stecken und Musik zu hören. Nicht so für Ti Kan. Er programmierte auf Basis von UNIX eine Open Source-Software namens Xmcd, mit der sein Computer in die Lage versetzt wurde, nicht nur den musikalischen Inhalt der CD zu lesen, sondern diesen auch in bester Audioqualität in diversen digitalen Formaten wie WAV, MP3, Ogg und FLAC auszugeben und zu speichern. Xmcd war also nicht nur eine Musikwiedergabe-, sondern auch eine CD-Ripping-Software.¹

Zur Musikerkennung gehört aber auch eine Datenbank und die lieferte Steve Scherf, der ursprünglich Mathematik und Biologie an der University of California studiert hatte. Er hatte die Idee, die Inhaltsangabe (Table of Contents bzw. TOC-Information), die in jeder CD digital mitgeliefert wird, auszulesen und daraus eine Musikdatenbank zu erstellen. 1995 tat er sich mit seinem ehemaligen Studienkollegen Ti Kan zusammen, um sein Datenbankprojekt mit der Xmcd-Software zur Compact Disc Database (CDDB) zu verknüpfen. Nun war es möglich, eine CD in ein Computerlaufwerk zu legen und während der Wiedergabe wurden Songtitel, deren Spieldauer, InterpretIn und alle weiteren Informationen, die im Inhaltsverzeichnis verfügbar waren, angezeigt.² Da die CDDB als Open-Source-Projekt angelegt war und Kan sowie auch Scherf ursprünglich keine kommerziellen Absichten verfolgten, stellten viele SympatisantInnen ihre CD-Sammlungen zur Erweiterung der Datenbank zur Verfügung. Die Informationen wurden anfangs sogar noch über E-Mail geschickt.³

Ein früher Nutzer und Fan von CDDB war Graham Toal, der in Texas einen Internetservice-Provider betrieb. Er bot 1997 Kan und Scherf an, das Service zu hosten und schaltete Banner-Werbung auf der Homepage, die rasch das kommerzielle Potenzial von CDDB erahnen ließ. Es meldete sich auch der Online-CD-Versandhändler CDNow, der für jede CD, die über die Webpage entdeckt worden war, einen kleinen Cent-Betrag an CDDB überwies. Damit konnte ein Geschäftsmodell etabliert werden, das 1998 zur Gründung der Firma CDDB LLC im kalifornischen Emeryville führte.⁴ Die Datenbank war nun über das Internet abrufbar und wer die Software auf seinem Computer installiert hatte, konnte sich durch das Einlegen einer CD ins Computerlaufwerk alle Informationen zur CD anzeigen lassen.

Da den CDDB-Gründern das Kapital zum weiteren Wachstum ihres Dienstes fehlte und sie auch keine Lust verspürten, mit dem Managen ihrer Firma Zeit zu verschwenden, suchten sie einen Käufer für CDDB. Der fand sich in Form von Escient, einem im US-Bundesstaat Indiana ansässigen Hersteller von Hifi-Geräten, darunter auch Tunebase, ein CD-Wechsler, der mit 200 CDs bestückt werden konnte. Escient zahlte für CDDB nicht einmal eine Million US-Dollar und benannte den Dienst 2000 in Gracenote um.⁵

Gracenote war nun kein Open Source-Projekt mehr, sondern mutierte zum Businesspartner für Musikindustrie- und Tech-Firmen. Die Software-Palette zur Musikerkennung wurde durch die MusicID ausgeweitet und in zahlreiche Geräte von Philips, Sony und auch in Apples iPod integriert, um Musikinformationen aus dem Netz abzurufen.⁶ 2008 verkaufte Escient Gracenote mit einem satten Gewinn um US $260 Millionen an die Sony Corporation.⁷ Die Synergieeffekte, die sich der japanische Elektronik- und Entertainmentkonzern mit der Übernahme von Gracenote versprochen hatte, stellten sich nicht in dem gewünschten Ausmaß ein und als Sony 2013 in die Verlustzone abrutschte, setzte ein Abverkauf von einigen Unternehmensteilen, darunter auch Gracenote, ein. Um US $170 Millionen – d.h. mit einem Abschlag von 35 Prozent des ursprünglichen Kaufpreises – veräußerte Sony im Februar 2014 Gracenote an den Tribune-Medienkonzern, der neben 28 TV-Stationen und 8 Tageszeitungen, auch noch die Tribune Media Services-Sparte betrieb, in die Gracenote integriert wurde.⁸ Tribune Media Services hatte einen Fokus auf TV- und Film-Metadaten. Gracenote erschien als gute Ergänzung im Musikbereich und wurde mit der Media Services fusioniert.⁹ 2014 und 2015 kaufte die Tribune Media Company zahlreiche Datenanalysefirmen in den Bereichen TV & Film,¹⁰ Musik, Video und Sport¹¹ auf und brachte diese Akquisitionen in Gracenote ein.

Gracenote war damit kein ausschließlicher Anbieter von Musikerkennungssoftware mehr, sondern deckte das gesamte Spektrum der Datenanalyse in den Entertainment-Industrien ab. Das Unternehmen war auf mehr als 1.700 MitarbeiterInnen gewachsen und erzielte einen Umsatz von rund US $100 Millionen, als die Nielsen Holdings ein Kaufangebot für Gracenote von US $540 Millionen in Cash legte, das Tribune Media nicht ablehnen konnte. Im Februar 2017 war der Übernahme-Deal unter Dach und Fach und Gracenote war nun Teil des weltweit größten Marktforschungsunternehmens.¹² Zum Zeitpunkt der Akquisition hatte Gracenote seine Geschäftstätigkeit bereits weit über die Musikerkennung zur Musikempfehlung und Marktforschung ausgeweitet. Besucht man heute die Gracenote-Homepage, wird in der Sparte Musik neben „Global Music Data“, „Music Discovery“ und „Audio on Demand“ immer noch „Music Recognition“ als Geschäftsfeld angezeigt. Im Kern handelt es sich dabei immer noch um die MusicID-Technologie, die für die Erkennung den CD- und digitalen Inhalten eingesetzt wird und durch Stimmerkennungs-KI ergänzt wird. Gracenote bewirbt seine Services damit, dass sie in 250 Millionen Soundsystemen von Autos integriert ist und zur Organisation von Musik-Playlists eingesetzt werden kann. Natürlich spielt dabei KI die zentrale Rolle.¹³

Einen anderen Weg als Gracenote hat MusicBrainz eingeschlagen, das 1998 als Open Source-Antwort auf die Kommerzialisierung von Gracenote von Robert Kaye gegründet worden war. Im Gegensatz zu Gracenote definiert sich MusicBrainz als Online Musik-Enzyklopädie, die von einer Stiftung betrieben wird und über die jedermann kostenlos die Metadaten von Musikaufnahmen und Cover-Art recherchieren kann. Registrierte UserInnen können aber nicht nur Musikinformationen abrufen, sondern diese auch zur Verfügung stellen. Aktuell (Stand: 15.01.2024) umfasst die MusicBrainz-Datenbank 30,8 Millionen Aufnahmen von 2,3 Millionen KünstlerInnen und von rund 262.000 Labels.¹⁴ Im Gegensatz zu anderen Musikdatenbanken wie z.B. Discogs.com hat MusicBrainz auch eine Fingerprinting-Technologie zur Erkennung von Musikaufnahmen entwickelt. Bereits 2000 wurde das TRM-Audio-Fingerprinting eingeführt, das 2008 von der MusicDNS ersetzt wurde und nach dessen Verkauf 2009 von der AcoustID abgelöst wurde, die bis heute von der MusicBrainz Picard-App verwendet wird. Mit dieser Fingerprinting-Software können UserInnen Audiodateien identifizieren, auch wenn sie über keine Metadaten verfügen.¹⁵

Bevor KI die Musikerkennung erobert hat, war das digitale Fingerprinting der Goldstandard der Musik-Identifikation. Shazam ist das bekannteste Unternehmen auf diesem Gebiet und startete 1999 ähnlich wie Gracenote und MusicBrainz als Open Source-Projekt von Dhiraj Mukherjee, Chris Barton und Philip Inghelbrecht in London. Die Idee bestand darin, Musik, die man im Radio gerade hörte, per Telefon zu identifizieren. Dazu musste man mit dem Mobiltelefon die Nummer 2580 anrufen und am Display erschien dann der Titel des im Radio gespielten Songs, wenn dieser in der Datenbank vorhanden war.¹⁶ Allerdings störten Umweltgeräusche die Aufnahme und es wurde ein falsches oder gar kein Ergebnis geliefert. Das änderte sich erst, nachdem Avery Wang, der sein Doktorat an der Stanford Universität gemacht hatte, zum Gründerteam stieß. Er programmierte einen Algorithmus, der in der Lage war, die Geräuschkulisse herauszufiltern und mit einer Fingerprinting-Technologie den Song zu erkennen. Das führte 2002 zum technischen Durchbruch. Den erlebte allerdings nur Wang, weil die ursprünglichen drei Gründer das Unternehmen 2003 verlassen hatten. Zwar konnten 2000 und 2001 rund US $9,5 Millionen eingesammelt werden, aber das war für einen erfolgreichen Durchbruch zu wenig und fürs Sterben zu viel.¹⁷

Der Rettungsanker war eine Kooperation mit dem US-Telefonanbieter AT&T, der 2004 in seinen Geräten die Shazam-Software installierte und für jede Nutzung US $0,99 einhob.¹⁸ Der wirtschaftliche Erfolg stellte sich aber erst mit der Markteinführung des Smartphones ein. 2008 wurde Shazam auf dem iPhone verfügbar gemacht und die App konnte im iTunes-Store heruntergeladen werden.¹⁹ Kurz danach folgte auch eine Android-Version.²⁰

Shazam wurde zu diesem Zeitpunkt zu einer der beliebtesten und meist heruntergeladenen App. Es war einfach cool, das Smartphone im Restaurant oder in der Disco in die Höhe zu halten, um sich den Musiktitel, der gespielt wurde, anzeigen zu lassen. Dieser Erfolg zog auch die Aufmerksamkeit von Investoren an. 2009 führte die im Silicon Valley ansässige Venture Capital Gesellschaft Kleiner Perkins Caufield & Byers eine Finanzierungsrunde an, die Shazam die dringend benötigten Mittel zur Expansion zur Verfügung stellten.²¹

Ende 2010 vermeldete Shazam bereits mehr als 100 Millionen NutzerInnen und weitete seine Zusammenarbeit auf TV-Netzwerke und Werbeagenturen aus, um die Musikerkennung auch für Werbung und TV-Filme zu ermöglichen.²² 2011 brachte ein Konsortium rund um Kleiner Perkins Caufield & Byers weitere US $32 Millionen für Shazam auf, obwohl das in London ansässige Unternehmen weiterhin Verluste schrieb.²³ Dennoch konnte Shazam seine Kooperationen mit Musikstreamingdiensten wie rdio²⁴ und dem indischen Saavn²⁵ ausweiten. 2013 pumpte der mexikanische Telekomkonzern America Movil weitere US $40 Millionen in den Musikerkennungsdienst.²⁶ Nach einer weiteren Finanzierungsrunde, die US $20 Millionen in die Kassa spülte,²⁷ verdichteten sich die Gerüchte eines Börsengangs von Shazam. Daraufhin sicherten sich die drei Musik-Majors Universal, Warner und Sony, nach einem Bericht des Wall Street Journals, Anteile an Shazam im Wert von je US $3 Millionen, nachdem das Unternehmen auf einen Wert von US $500 Millionen geschätzt worden war.²⁸ Aus dem Börsengang wurde bekanntlich nichts, aber Shazam konnte seine aktive NutzerInnen-Basis auf 120 Millionen im Jahr 2015 ausweiten, obwohl der Jahresverlust für 2014 noch fast GBP 15 Millionen ausmachte.²⁹

Ende 2017 dann der Knalleffekt: Apple kündigte an, Shazam um US $400 Millionen kaufen zu wollen.³⁰ Für Beobachter war das aber keine Überraschung. Shazam wurde über die Jahre hinweg mit Risikokapital am Leben erhalten und konnte bis zur Übernahme durch Apple insgesamt US $143 Millionen an Investments einsammeln. Trotzdem gelang es in all den Jahren nicht, einen Gewinn zu erwirtschaften. In seinem Musikindustrie-Blog brachte Mark Mulligan die Situation so auf den Punkt: „Cool tech without a business model.“³¹ Für Apple war Shazam zu diesem Zeitpunkt aber eine gute Ergänzung, um mit der Musikerkennung zum Marktführer Spotify aufschließen zu können, der kurz davor EchoNest um EUR 50 Millionen aufgekauft hatte.³² Die Übernahme rief allerdings die EU-Kommission auf den Plan, die eine Wettbewerbsbeschränkung durch die starke Marktposition von Shazam bei der Musikerkennung und Apple am Musikstreamingmarkt befürchtete.³³ Die Untersuchung dauerte allerdings nur wenige Monate und die zuständige Generaldirektion für Wettbewerb befand, dass die Akquisition von Shazam durch Apple den Wettbewerb am digitalen Musikmarkt nicht behindern würde.³⁴ Die Musikerkennungsfunktion von Shazam wurde von Apple mithilfe von KI weiterentwickelt und die App wurde zum festen Bestandteil von Apples iPhone. Im Juli 2023 gab Apple bekannt, dass mithilfe der Shazam-App nunmehr auch Musik, die auf TikTok, Instagram und YouTube zur Hintergrundberieselung verwendet wird, erkannt werden kann.³⁵

Der direkte Konkurrent von Shazam ist das im kalifornischen Santa Clara beheimatete Unternehmen SoundHound AI Inc., das im Dezember 2004 unter dem Namen Midomi vom iranisch-stämmigen Mathematiker Keyvan Mohajer gegründet worden war, als er noch Doktorratsstudent an der Stanford University war.³⁶ 2009 wurde Midomi in SoundHound umbenannt und ging eine Kooperation mit dem US-amerikanischen Musikstreamingdienst Pandora ein.³⁷ Schon in dieser Periode konnte SoundHound Investoren von seinem Geschäftsmodell überzeugen und bis Juni 2015 hatte das Unternehmen rund US $40 Millionen eingesammelt, wie aus einem Artikel im Wall Street Journal hervorgeht.³⁸ Im gleichen Artikel stellte das Unternehmen den Sprachassistenten Hound vor, der in direkter Konkurrenz zu Apples Siri, Microsofts Cortana und Amazons Alexa stand. Mit dieser KI-Anwendung wurde die Sprach- bzw. Musikerkennungssoftware von SoundHound mit dem Natural Language Processing verknüpft, wodurch auch kompliziertere Anfragen an den Sparchassistenten gestellt werden konnten.³⁹ Damit konnte SoundHound den koreanischen Autobauer Hyundai überzeugen, sein Musikerkennungssystem Houndify in das Genesis-Modell zu integrieren. 2017 kündigten Hyundai und SoundHound an, einen KI-basierte Stimmen-Controller in alle neuen Modelle des Autoherstellers ab 2019 zu integrieren.⁴⁰ Im gleichen Jahr gelang es SoundHound weitere US $75 Millionen von einer Investorengruppe rund um Kleiner Perkins Caulfield & Byers einzusammeln.⁴¹ Ein Jahr später gelang es SoundHound weitere strategische Investoren wie Hyundai, Daimler, Midea Group und den chinesischen Konzern Tencent zu gewinnen, die zusammen US $100 Millionen in das Unternehmen steckten.⁴² Mit Tencent öffnete sich für SoundHound zudem auch der chinesische Markt. Im November 2021 folgte dann der große Paukenschlag. SoundHound ging mithilfe der Special Purpose Acquisition Company Archimedes Tech SPAC Partners Co. unter dem neuen Namen SoundHound AI Inc. und einem Börsenwert von US $2,1 Milliarden an die New Yorker NASDAQ.⁴³ SoundHound hatte früher als sein engster Mitbewerber Shazam auf künstliche Intelligenz in der Musikerkennung gesetzt und konnte dadurch seinen Unternehmenswert massiv erhöhen, während Shazam um US $400 Millionen von Apple aufgekauft wurde. Allerdings führte der Börsengang auch dazu, dass SoundHound AI Ende 2022 mehr als 40 Prozent seiner MitarbeiterInnen abbauen musste, um weiterhin für die InvestorInnen attraktiv zu sein. Das war auch der Preis dafür, dass SoundHound weitere US$ 25 Millionen an Vorzugsaktien an nicht genannte Geldgeber ausgegeben werden konnten.⁴⁴

SoundHound ist ein gutes Beispiel dafür, wie mit dem frühen Einsatz von KI in der Sprach- und Musikerkennung nicht zur die Technologieführerschaft in diesem Bereich übernommen werden konnte, sondern auch der Wert des Unternehmens stark davon profitierte.

Peter Tschmuck

Dieser Artikel erschien erstmal am 29. Jänner 2024 auf der Seite https://musikwirtschaftsforschung.wordpress.com/2024/01/29/ki-in-der-musikindustrie-teil-3-der-aufstieg-von-musikerkennungsdiensten/

Teil 1: Was ist künstliche Intelligenz?
Teil 2: Wie funktioniert künstliche Intelligenz?
Teil 4: KI in der Musikerkennung und Musikempfehlung
Teil 5: Die Musikempfehlung im Musikstreaming
Teil 6: Fake-Streams und Streamingfarmen
Teil 7: KI in der Musikproduktion

Peter Tschmuck ist Professor am Institut für Popularmusik (ipop) der mdw.

Endnoten