“Cool”, zegt Yael Kirschenmann, terwijl ze knikt en haar koptelefoon afzet. In de theaterzaal van het NU-gebouw hebben zeven VU-orkestleden net een computergegenereerd muziekstuk gespeeld. Het moest lijken op iets dat Bach had kunnen schrijven, die opdracht gaf Kirschenmann AI-software AIVA. “Maar het doet me meer denken aan rechtenvrije timelapsemuziek.”
Kirschenmann volgt de master Artificial Intelligence aan de VU en speelt viool in het VU-Orkest. Voor haar masterscriptie onderzoek naar of er een verschil of overeenkomst is in de emoties die worden opgewekt bij het luisteren naar ‘klassieke’ muziek die door AI is gegenereerd, en klassieke muziek die door de mens is gecomponeerd. Ze koos voor Bach als vergelijkingsmateriaal omdat het volgens haar toegankelijk is om naar te luisteren, ook voor mensen die niet zo thuis zijn in de klassieke muziek. “En Bach heeft duidelijke stukken die je als ‘happy’ zou kunnen bestempelen, of ‘sad’.”
Rare frases aanzetten
En dus spelen de VU-orkestleden ook een ‘happy’ en een ‘sad’ AI-stuk. Dirigent Arjan Tien begeleidt de musici. Ze spelen een paar keer in voordat Kirschenmann de opnames maakt die ze gaat gebruiken bij haar onderzoek. Het is soms wat zoekwerk met de vers gecomponeerde muziek. “Klopt dat wel?”, vraagt Tien aan de harpist. “Volgens mij wel”, antwoordt zij, “het klinkt wel een beetje raar, maarja het staat er.” Tien: “Zet het aan, júist als het raar klinkt. Anders klinkt het alsof je een fout maakt.”
De bladmuziek wijkt op het oog niet erg af van andere stukken die het orkest speelt, maar in de praktijk is de beleving wel anders. “Het is niet zulke lastige muziek, he?”, zegt dirigent Arjan Tien. “Nee, dankjewel AI”, reageert de harpist lachend. Toch heeft het andere stuk, de ‘happy’ versie, wat lastige frases. “Daar merk je wel dat het niet door een mens is gecomponeerd”, zegt violist Froukje Lycklama à Nijeholt na afloop. “Op de viool zitten de noten in dit stuk heel dicht op elkaar, dat maakt het moeilijk om ze foutloos te spelen op deze snelheid. Een menselijke componist die kennis heeft van instrumenten, zou daar misschien wel rekening mee houden.” “AI heeft het voordeel dat het goede altviolisten heeft getroffen”, zegt Tien.
Krappe badmuts
Een paar weken later krijgt masterstudent Lisa Hooftman een badmuts op in een klein kamertje hoog in het NU-gebouw. Elektroden verbinden haar brein met de computer van Kirschenmann, die gel spuit in de gaatjes van de muts om het EEG-signaal beter te geleiden. “Gratis gel”, zegt mede-onderzoeker Eshwar Perumal Kumar. “Hierna kun je je haar stylen zoals je zelf wilt”, lacht hij. Als ze de muts tenminste nog van haar hoofd krijgt. Het is nogal wat wrikken voordat de signalen goed worden opgepakt.
Op de computer van Kirschenmann is, zodra er connectie wordt gemaakt, hersenactiviteit te zien. Echt veel is er nog niet uit af te lezen. “Eigenlijk is alleen duidelijk te zien of de proefpersoon de ogen open of dicht heeft, en of ze kalm of alert zijn. Om de data betekenis te geven, moeten we het eerst kruisverifiëren met de vragenlijst die de proefpersonen invullen”, aldus Kirschenmann. “Maar op dit punt in het experiment, eigenlijk nog voor de start, zie je al een groot verschil tussen de verschillende deelnemers”, zegt Perumal Kumar. “De één is echt hyperactief, er gebeurt veel in het hoofd. Bij anderen gaat het er rustiger aan toe.”
Om de resultaten zo goed mogelijk met elkaar te kunnen vergelijken, hebben ze gekozen alleen mensen te onderzoeken met een ‘gezond brein’ – zonder bijvoorbeeld Alzheimer. Met hun onderzoeksresultaten hopen ze bij te kunnen dragen aan onderzoek naar muziektherapie. “Maar dat is nog tien stappen hiervandaan”, aldus Kirschenmann.
Emotionele filmscènes
Perumal Kumar doet het onderzoek samen met Kirschenmann, en gebruikt bovenop de EEG-data een smartwatch die de fysieke reacties van de proefpersonen registreert. Hierop zijn onder andere de hartslag en de temperatuur van de huid af te lezen. Terwijl Kirschenmann zich concentreert op emotionele reacties op muziek, kijkt Perumal Kumar naar de reacties op filmclips. Hun samengevoegde data moet uiteindelijk een AI-model trainen om emoties te classificeren.
Proefpersoon Hooftman wordt gevraagd twee minuten rustig in en uit te ademen, met de ogen dicht, en te proberen een ‘meditatieve staat’ te bereiken. “Dit creëert een soort baseline in onze data waardoor we de hersenactiviteit beter kunnen analyseren, voordat we er externe stimuli op afsturen”, zegt Perumal Kumar. En externe stimuli komen er. Met tussenpozen van dertig seconden mediteren, krijgt de proefpersoon filmscènes te zien die door een onderzoek uit 2010 zijn bestempeld als de meest emotie-opwekkende scènes.
Zo sterft (spoiler alert) Meg Ryan op het wegdek in City of Angels, faket dezelfde actrice een orgasme in When Harry met Sally, en wordt in Sleepers de suggestie gewekt dat een groepje jonge jongens seksueel wordt misbruikt. Na elke scène wordt de proefpersoon gevraagd te reflecteren op wat ze gezien hebben. In hoeverre voelden ze zich in controle? Hoe kalm of opgewonden waren ze? Hoe prettig vonden ze het om naar te kijken? Welke emotie ervaarden ze?
Externe factoren
Dat de verschillende scènes een andere uitwerking hebben op bijvoorbeeld mensen die wel of geen kinderen hebben of toevallig net een naaste hebben verloren, maakt het nog wel complex om de data te analyseren, beaamt Perumal Kumar. Ook het feit dat de proefpersonen na elke scène of muziekstuk op een door de onderzoekers te zien scherm moeten aangeven hoe ze zich voelen, kan een complicerende factor zijn. Hooftman na afloop: “Ik was me wel bewust van dat er werd meegekeken.”
Dat viel Kirschenmann ook een paar keer op tijdens de experimenten. “Proefpersonen moesten bijvoorbeeld lachen omdat ze een acteur herkenden. Maar het ging dan wel om een droevige scène, dus na de clip vulden ze dan op de vragenlijst in dat ze verdriet voelden – misschien omdat ze denken dat dat hoort – terwijl dat niet hun eigenlijke reactie was. Dit zullen we wel als kanttekening moeten opnemen in ons onderzoek. Uiteindelijk zal die vragenlijst meer als hulpmiddel dienen om het AI-model bepaalde labels mee te geven. De EEG en de smartwatch zullen de meest ruwe data laten zien.”
Temperatuurstijging
Na de filmscènes is de muziek aan de beurt. Alle fragmenten worden in willekeurige volgorde afgespeeld voor de proefpersonen. Tijdens het onderzoek met Hooftman, komen de twee AI-gecomponeerde stukken eerst, en dan een stuk van Bach. Wat blijkt: Hooftman reageert heftiger op de filmscènes dan op de muziek. “Je temperatuur steeg wel twee graden bij een van de filmpjes”, zegt Perumal Kumar. Ook opvallend: Hooftman dacht dat het tweede stuk, de ‘sad’ versie van AI, door een mens was gecomponeerd. En terwijl het bedoeld was als de emotioneel zwaardere variant, vulde ze bij primaire emotie ‘happy’ in.
Bij de opname van de muziek met het VU-orkest was Kirschenmann er nog van overtuigd dat mensen wel zouden kunnen horen wat door andere mensen is gemaakt, en wat door een computer. “Maar dat geldt misschien vooral voor mensen die kennis hebben van (klassieke) muziek. Die horen sneller dat er bepaalde patronen in de muziek niet helemaal kloppen, of dat het emotie mist”, zegt Kirschenmann.
Ethische bezwaren
Het verwerken van de data zal nog even duren, maar het valt Kirschenmann wel al op dat meerdere proefpersonen de door AIVA gemaakte stukken leuk vonden. “Eigenlijk niet zo verbazingwekkend, er zit veel herhaling in, het is soms best catchy.” Over of AI een concurrentie gaat vormen voor componisten hoeft ze niet lang na te denken. “Dat is al zo. AI-bots brengen muziek uit op Spotify. Dat kan op den duur in de weg gaan staan van mensen die iets willen uitbrengen. Toch denk ik dat het voor de beleving van muziek belangrijk blijft dat er een mens achter zit. Iemand die iets heeft meegemaakt waar je je in kunt vinden. Iemand waarvan je naar een concert kunt gaan.”
Kirschenmann had haar proefpersonen eigenlijk ook nog willen vragen of ze überhaupt open zouden staan voor AI-gegenereerde muziek. “Maar dat is een heel ander onderzoek, naar de ethische kant. Die is wel interessant. Sommige mensen vroegen me: heeft AI wel door wat het maakt? Het kan mensen manipuleren. Maar dat heeft muziek altijd kunnen doen: je beïnloedt heel direct iemands stemming. Kijk maar naar metrostations: ze spelen klassieke muziek om mensen rustig te houden, en Eftelingmuziek om ze weg te krijgen.”