Ontrafeld: de werking en problemen van het Spotify algoritme

Door: Menno van der Horst - 12 reacties
Spotify algoritme

Vroeger was de enige manier om nieuwe muziek te ontdekken de radio of cd-bakken bij winkels. Tegenwoordig hoef je veel minder moeite te doen en stelt het algoritme van een streamingdienst gewoon samen wat je (mogelijk) wil horen. Spotify heeft dit naar de mening van velen het beste onder de knie. Veel beter dan Apple Music. Er zijn dagelijkse, persoonlijke mixen en een ‘Discover Weekly’ met aanraders.

Maar hoe werken die ‘data driven deuntjes’ eigenlijk? Niet alleen alles wat je luistert wordt bijgehouden, maar ook welke artiestenpagina je opent en welke playlists je maakt. Jouw gedrag is in grote mate van invloed op het samenstellen van je persoonlijke muziekprofiel. Deze gegevens worden gebruikt bij het doen van aanbevelingen, bijvoorbeeld met de ‘Discover Weekly’. Deze lijst wordt samengesteld gebruik makend van 3 verschillende strategieën die samen tot een (volgens Spotify) superieur model zouden moeten leiden.

1) Collaborative filtering

Het gedrag van alle gebruikers wordt met elkaar vergeleken. Daarbij wordt gekeken naar gebruikers die zoveel mogelijk overeenkomen met jouw profiel. De kleine verschillen in beluisterde nummers worden dan uitgewisseld.

2) Natural Language Processing

Spotify struint het web af naar blogs en andere artikelen over artiesten en/of nummers. Wanneer deze artikelen weer links hebben met andere artiesten of nummers worden hier links tussen gelegd. Wanneer bijvoorbeeld Kanye West regelmatig in artikelen over Drake genoemd dan is het aannemelijk dat deze artiesten overeenkomstige eigenschappen hebben.

3) Audio-analyse

Omdat de eerste twee strategieën voornamelijk gericht zijn op bestaande artiesten en nummers is er een extra manier nodig om nieuwe artiesten en nummers toe te voegen aan de aanbevelingen. Hiervoor wordt een neuraal netwerk gebruikt -zie het als gezichtsherkenning voor muziek- dat in staat is om de karakteristieken van een nummer te bepalen. Met deze gegevens worden nieuwe nummers gekoppeld aan soortgelijke nummers uit je persoonlijke voorkeuren.

Om deze relatie te kunnen leggen worden een groot aantal kenmerken toegekend aan elk nummer. Deze lopen uiteen van o.a. populariteit, tempo en energie tot de ‘positiviteit’ van een nummer. Om zelf te ervaren hoe dit in z’n werk gaat is de tool ‘Nelson’ gemaakt. Daarmee kun je een playlist samenstellen op basis van deze eigenschappen. Hoewel de gegenereerde playlists nogal matig zijn, is het spelen met de tool wel erg vermakelijk.

Spotify algoritme
Klik/tap voor groter.

Het probleem van het Spotify-algoritme

Een groot probleem dat voorkomt uit zowel de logica van het samenstellen van suggesties als de manier waarop data gekoppeld is aan individuele nummers, is dat er voornamelijk gezocht wordt naar overeenkomsten. Wie een hele brede muzieksmaak heeft, zal niet altijd in het hokje van het algoritme passen. Daarom kunnen de aanbevelingen soms maar matig passend zijn.

Wat voor invloed heeft dat dan op de muziek zelf? Uit onderzoek blijkt dat populaire muziek steeds algemener wordt. Populaire nummers zijn steeds meer samengesteld middels hetzelfde setje eigenschappen. Daardoor wordt het voor de algoritmes die aanbevelingen doen ook steeds complexer om een divers aanbod samen te stellen.

Of dit een zorgelijke of logische ontwikkeling is, laten we even in het midden. Feit is wel dat het werkt. Er wordt in ieder geval nog meer dan genoeg goede muziek gemaakt, het is alleen een kwestie van vinden. Het menselijke aspect en het sentiment is toch iets dat moeilijk te vatten is voor logica en algoritmes. Tim Cook, die met Apple Music heel toevallig een concurrent van Spotify vormt, denkt dat het algoritme té belangrijk is. Daar zit misschien wel wat in. Dus vertrouw niet alleen op het algoritme maar blijf vrienden en bekenden ook inspireren en verrassen met nieuwe muziek die je hoort! (Zie ook → Tim Cook geeft kritiek op Spotify: algoritme te dominant)

Apple Music en Spotify op iPhone X
Apple Music (links) en Spotify (rechts) – Klik/tap voor groter.


Dit is een gastbijdrage van Menno van der Horst. Liefhebber van data en deuntjes én developer bij Wayne Parker Kent (de uitgever waar OMT onderdeel van is).


Reacties

12 reacties
  • Profielfoto
    HugovandenBeld

    Interessant en leerzaam. Goed stuk.

  • Profielfoto
    aartjan.nl/blog

    ik vind de algoritmes echt top, maar ik luister 99% van de tijd naar zelf gecureerde playlists. Bijvoorbeeld mn TOP 7000 ALL TIME, publiek op Spotify.

     

    Verder zit Spotify eenzijdig voor te trekken, en omgekeerd. Dus nummers die duur zijn qua rechten worden nooit random afgespeeld in lange lijsten, en tracks die goedkoop zijn worden buitensporig vaak toevallig afgespeeld.

     

    Zie ook de Fake Music on Spotify, dat is helemaal lachen! Dat is m’n lijst met Fake artiesten, afgekochte stock-nummers!

  • Profielfoto
    Facundo

    Waarom zouden algoritmen te belangrijk zijn? Algoritmen sluiten het zelf zoeken niet uit, maar zijn daar gewoon een zeer effectief hulpmiddel bij. Het heeft ook geholpen dat we favouriete playlists naar Spotify geimporteerd hebben; dat heeft de suggesties nog beter gemaakt. Alleen het ontbreken van tags in column-view maakt ordenen/overzicht van je library tot een bende in Spotify. Op een gegeven moment heb je gewoon een bak met 1500 nummers.

  • Profielfoto
    Frans

    Vroeger was de enige manier om nieuwe muziek te ontdekken de radio of cd-bakken bij winkels.

    En plaatjes (vinyl) luisteren bij vrienden/vriendinnen. Was ook gezellig bovendien.:-)

  • Profielfoto
    cheque

    Algoritmen zorgen er voor dat de breedte van het zoeken steeds smaller wordt. Dat is niet alleen smal maar ook eng. Dus altijd links en rechts blijven kijken, anders krijgt de geest het benauwd.

    Dat gebeurd niet alleen bij muziekvoorkeuren maar ook bij het nieuws. Na verloop van tijd zie, lees en hoor je alleen maar wat al bekend is. Griezelig toch.

  • Profielfoto
    Tee Loo

    Dus altijd links en rechts blijven kijken, anders krijgt de geest het benauwd.

    helemaal mee eens.

  • Profielfoto
    Joid

    Vroeger was de enige manier om nieuwe muziek te ontdekken de radio of cd-bakken bij winkels.

    Nee hoor, er bestond ook zoiets als radio en festivals.

  • Profielfoto
    ctmax

    Spotify heeft dit naar de mening van velen het beste onder de knie. Veel beter dan Apple Music.

    Daar herken ik me totaal niet in. Ik ben ooit begonnen met Apple Music en was toen blij verrast met de suggesties die Apple Music me gaf. Later ben ik overgestapt op Spotify, want mijn versterker ondersteund dat beter. Helemaal blij mee, maar ik mis de suggesties van Apple Music wel. De Daily Mixen van Spotify slaan echt nergens op. Ik heb er 6 staan, soms is er eentje interessant, maar die verveelt dan ook snel omdat ze vrij lang hetzelfde blijven.

  • Profielfoto
    Koezel

    Dankzij Spotify heb ik nieuwe muziek in mijn smaakgebied ontdekt.  Ik vind het goed werken.

    Verder een interessant verhaal.

  • Profielfoto
    Facundo

    Algoritmen zorgen er voor dat de breedte van het zoeken steeds smaller wordt. Dat is niet alleen smal maar ook eng.

    Algoritmen zorgen nergens voor. Dat doe je zèlf. Niemand verbiedt je het zèlf zoeken.

  • Profielfoto
    Smugmarty

    aartjan.nl/blog op 25 september 2018 20:27
     

    Verder zit Spotify eenzijdig voor te trekken, en omgekeerd. Dus nummers die duur zijn qua rechten worden nooit random afgespeeld in lange lijsten, en tracks die goedkoop zijn worden buitensporig vaak toevallig afgespeeld

    Dat is wel even stof tot nadenken…als hoge en lage kosten voor rechten een rol spelen in playlist zoals bijvoorbeeld radiozenders etc dan voel ik me beetje bij de neus genomen. Wat mis ik dan allemaal !??

     

  • Profielfoto
    wensink

    Ik ben benieuwd of Apple Music ook de kosten van de rechten meeneemt in zijn shuffle algoritme.