By Alexandre Torres

Disclaimer: This article was written for the course Science Communication and Journalism of 2023 | Translated Dutch version below

There’s no stopping it now – artificial intelligence in music production has quickly become a reality, and the music industry is having a hard time adjusting. However, the use of AI to make music can also have a positive side. A musician and a researcher share some ideas on creative opportunities that come with AI.

When a TikTok user created an AI-generated track that impersonated the style of Drake and The Weeknd, Universal Music Group called for streaming services to ban AI music, calling it a form of fraud. Copyright disputes aside, some artists, such as Billy Corgan from The Smashing Pumpkins, believe that AI tools will be detrimental to the creative processes involved in music making. 

Indeed, the rise of AI has raised alarms within the music industry, and understandably so. After all, computers can now automatically create music that pretty much sounds like something that a real artist would make. But despite becoming a hot topic only recently, there are people for whom the connection between music and computers has been a reality for a long time.

Dr Ashley Burgoyne is a professor of Computational Musicology at the University of Amsterdam, the use of computing science in the musical field is nothing new. He is well aware that computers have been crucial for musicological research, be it for understanding the elements that make Beethoven’s style unique, or for helping define what makes a song “catchy”. For him, the concept of music that is generated by the artificial intelligence of computers is by no means seen as an affront to music and creativity. On the contrary, he is an ambassador for AI music, having been involved in the AI Song Contest since 2020.

Similarly, for Dimitri Lipper, high school mathematics teacher by day and ambient music producer by night, the prospect of AI being used in music production isn’t alarming either – even if it may end up competing directly with his art. The genre of music he makes consists mostly of calm, simple melodies and generally does not feature any vocals, making it one of the easiest styles to be replicated by AI. Still, Lipper, who goes by the artistic name of Toucan Coma, sees AI music tools as opportunities to discover new sounds and expand his art. So, amidst all the noise surrounding AI music, what can we learn from these two individuals?

The main reason for their optimism around AI in music is that they do not hold the popular concern that it will somehow hinder creativity. Due to his experiences with the AI Song Contest, Burgoyne has seen first-hand how quickly creativity has developed when it comes to using AI tools to make music. In the contest, several teams of musicians and computer scientists compete to create the winning song with the assistance of AI. And the standards are getting higher every year. “It’s not just about generating a few tunes and giving them to a popstar,” says Burgoyne. “In 2020, that was a great usage of AI in music. Nowadays, we can do so much more.”

One of his favourite songs from the contest used AI tools to breathe new life into a Thai relative of the oboe. “It uses a very different tuning system,” Burgoyne said. “Most people don’t have much to do with this instrument, even in Thailand. Using AI tools, the contestants integrated it into a more common tuning system and it turned out great. That song was the winner of the contest last year.”

But the AI-enhanced classical Thai oboe piece had tough competition in last year’s contest. A Galician folk band, who finished second place in the contest, fed a corpus of traditional Galician music to a computer programme which understands and generates language (think ChatGPT) in order to have it create new Galician folk lyrics. “That’s exactly the kind of thing the AI Song Contest wants to support,” explained Burgoyne, “using AI not to replace, but to expand creative possibilities and do things that would be difficult to do in other ways.”

As for Lipper, he believes that music-generating AI tools would fit neatly into his repertoire of sounds. His process of making music already involves looking for sounds in unusual places, such as old records, conversations, or everyday noises that he records. He then takes these sounds and edits them using software, adding instruments and synthesisers as he sees fit. Having an AI tool that creates new sounds would be yet another resource he could use in his art. “It’s a very exciting possibility!,” he exclaims.

But Lipper’s ideas for incorporating AI into his compositions do not end here. He also envisions himself shaping the output of an AI programme to his liking, in a way that the software becomes almost an extension of his own creativity and style. AI programmes need to be trained before they can create music. This training usually consists of giving the software a large database of songs, so it can mimic the way humans create music. “It would be really interesting to have an AI music software and to be able to give it my own training set,” he says, “I’d give it a weird mash, ambient and some other genres that don’t usually go together, and just see what happens.”

This concept of steering the type of music an AI generates through training is also echoed by Dr Burgoyne, and he draws parallels between this idea and other well-known forms of artistic expression. “It’s not unlike making a collage, or putting together a well-designed museum,” he says. “With AI it’s the same idea. If you curate your own AI, at some point you have to argue that it has become your own.”

This embrace of using AI in music doesn’t mean that Burgoyne and Lipper see no unresolved issues with the technology and its implications. And these have to do, of course, with appropriately compensating artists whose material is used to train these algorithms, or, at the very least, with securing their consent for the process. According to Burgoyne, this “is a gigantic grey area.”

The AI Song Contest, which will take place in Galicia this year, has some ideas on how to deal with this grey area. The event organisation has recently hired a legal expert to help them find an appropriate way forward, but there are other ways in which it ensures an ethical use of AI. Namely, the way they pick a winner. “There’s four criteria,” Burgoyne told us, “The song itself, creativity, human-AI collaboration, and ethics.” In the ethical component, the jury takes into account the extent to which the artists’ rights were considered, but also whether or not the tracks remain respectful to different cultures when using, for example, classic Thai oboe sounds, or Galician folk elements.

To keep track of these criteria, the contest requires that every song is accompanied by a process document in which the producers explain their reasoning and technical procedures that went into making the song. These documents, Burgoyne explained, can be just as important as the final song itself. “We are not interested in push-button AI, where you click a button and get a song.”

Plagiarism is another big concern when it comes to the rise of music-making AI. Here, it’s not simply the case of compensating artists for providing “training material” to the software, but AI being a little too good at capturing an artist’s sound and style. When it comes to blatant impersonation cases, such as the case with Drake and The Weeknd, artists can make use of existing copyright mechanisms.

But when it comes to “accidental” plagiarism, things can get trickier. The way that AI music algorithms work is by “chopping up” different bits of music that they learned and putting them back together in a different way. “In some sense, this can only be plagiarism, but it really isn’t,” Burgoyne says. “How many times have we heard a musician talk about their inspirations and even specific songs that were inspired by their favourite artists. Music has worked this way since forever.” While AI may increase the frequency of copyright disputes, these are by no means a new occurrence in music, he states.

In the end, despite all the controversy surrounding AI-made music, it seems likely that music itself will survive and evolve, according to both Lipper and Burgoyne. “It will be fun,” says Lipper, contemplating the future of music. “People will keep making music the way we are doing it now. And people will use AI. It will all exist. People always say that something will be the end of music, like when drum computers came, or computers in general. But it always turned out to be fine.”

For Burgoyne, new research possibilities are on the horizon. He is currently working on understanding more clearly the inner workings of music-making AI programmes. “These AI systems are so, so good at what they do, it’s tricky to fully explain how they get to certain outputs,” he tells us. “Right now, it’s just kind of magic. They just work.” But his expectations are tempered. For now, all he aims for is to get to a point where we understand the creative outputs of AI with just about the same clarity as we understand the creative process of human artists like Toucan Coma. “If we can get there, I honestly think we’d be quite successful.”

---

AI in muziek – een probleem of een kans?

Door Alexandre Torres

Je houdt het niet meer tegen – kunstmatige intelligentie in muziekproductie is snel de realiteit geworden, en de muziekindustrie heeft moeite zich aan te passen. Maar, het gebruik van AI om muziek te maken kan ook een positieve kant hebben. Een muzikant en een onderzoeker delen een paar ideeën over de creatieve kansen die AI met zich meebrengt.

Toen een TikTok gebruiker een AI-gegenereerd nummer maakte dat de stijl van Drake en The Weeknd nadeed, riep Universal Music Group streamingdiensten op om AI-muziek te verbieden, het zou een vorm van fraude zijn. Geschillen over copyright daar gelaten, sommige artiesten, zoals Billy Corgan van The Smashing Pumpkins, geloven dat AI programma’s slecht zullen zijn voor het creatieve proces van het maken van muziek. 

De opkomst van AI zorgde voor alarmbellen in de muziekindustrie, en dat is begrijpelijk. Computers kunnen nu automatisch muziek maken dat vrijwel precies lijkt op iets wat een echte artiest zou maken. Maar, ondanks het feit dat het pas sinds kort veel besproken wordt, zijn er ook mensen voor wie de connectie tussen muziek en computers al lange tijd een realiteit is. 

Dr. Ashley Burgoyne is hoogleraar in Computational Musicology aan de Universiteit van Amsterdam, het gebruik van computerwetenschappen in de muziek is niets nieuws. Hij is zich er goed van bewust dat computers cruciaal zijn geweest voor musicologisch onderzoek, of het nu gaat om het begrijpen van de elementen die Beethovens stijl uniek maken of om het helpen definiëren van wat een liedje “pakkend” maakt. Voor hem wordt het concept van muziek die gegenereerd wordt door de kunstmatige intelligentie van computers absoluut niet gezien als een belediging voor muziek en creativiteit. Integendeel, hij is ambassadeur voor AI-muziek en is sinds 2020 betrokken bij het AI Songfestival.

Ook voor Dimitri Lipper, overdag wiskundeleraar op een middelbare school en ‘s nachts producent van sfeermuziek, is het vooruitzicht dat AI wordt gebruikt bij het produceren van muziek niet alarmerend – zelfs als het uiteindelijk rechtstreeks met zijn eigen werk zou kunnen concurreren. Het muziekgenre dat hij maakt bestaat meestal uit rustige, eenvoudige melodieën en bevat over het algemeen geen zang, waardoor het een van de makkelijkste stijlen is om door AI te worden nagebootst. Toch ziet Lipper, die de artiestennaam Toucan Coma gebruikt, AI-muziekinstrumenten als mogelijkheden om nieuwe geluiden te ontdekken en zijn werk uit te breiden. Dus wat kunnen we, te midden van al het lawaai rond AI-muziek, leren van deze twee individuen?

De belangrijkste reden voor hun optimisme over AI in de muziek is dat ze niet de veelgehoorde zorg hebben dat het de creativiteit op de een of andere manier zal belemmeren. Door zijn ervaringen met het AI Songfestival heeft Burgoyne uit eerste hand gezien hoe snel de creativiteit zich heeft ontwikkeld als het gaat om het gebruik van AI-tools om muziek te maken. In de wedstrijd nemen verschillende teams van muzikanten en computerwetenschappers het tegen elkaar op om het winnende nummer te maken met behulp van AI. En de lat wordt elk jaar hoger gelegd. “Het gaat niet alleen om het genereren van een paar deuntjes en die aan een popster geven,” zegt Burgoyne. “In 2020 was dat een goed gebruik van AI in de muziek. Tegenwoordig kunnen we zoveel meer.”

Een van zijn favoriete nummers van de wedstrijd gebruikte AI-tools om een Thaise verwant van de hobo nieuw leven in te blazen. “Het gebruikt een heel ander toonsysteem,” zei Burgoyne. “De meeste mensen hebben niet veel met dit instrument te maken, zelfs niet in Thailand. Met behulp van AI-hulpmiddelen integreerden de deelnemers het in een meer gangbaar toonsysteem en het pakte geweldig uit. Dat nummer was vorig jaar de winnaar van de wedstrijd.”

Maar het met AI verbeterde klassieke Thaise hobo stuk had zware concurrentie in de wedstrijd van vorig jaar. Een Galicische volksband, die op de tweede plaats eindigde, voerde een pakket traditionele Galicische muziek aan een computerprogramma dat taal begrijpt en genereert (denk aan ChatGPT) om er nieuwe Galicische volksteksten mee te maken. “Dat is precies het soort dingen dat het AI Songfestival wil ondersteunen,” legt Burgoyne uit, “waarbij AI niet wordt gebruikt om te vervangen, maar om creatieve mogelijkheden uit te breiden en dingen te doen die op andere manieren moeilijk te doen zouden zijn.”

Lipper is van mening dat AI-hulpmiddelen die muziek genereren prima zouden passen in zijn repertoire van geluiden. Bij het maken van muziek zoekt hij al naar geluiden op ongebruikelijke plaatsen, zoals oude platen, gesprekken of alledaagse geluiden die hij opneemt. Vervolgens bewerkt hij deze geluiden met behulp van software en voegt hij naar believen instrumenten en synthesizers toe. Het hebben van een AI-hulpmiddel dat nieuwe geluiden creëert, zou nog een andere bron zijn die hij in zijn werk zou kunnen gebruiken. “Het is een heel aantrekkelijke mogelijkheid!”, roept hij uit.

Maar Lippers ideeën om AI in zijn composities te verwerken houden hier niet op. Hij ziet zichzelf ook de uitvoer van een AI-programma naar zijn eigen wensen aanpassen, op zo’n manier dat de software bijna een verlengstuk wordt van zijn eigen creativiteit en stijl. AI-programma’s moeten worden getraind voordat ze muziek kunnen maken. Deze training bestaat meestal uit het geven van een grote database met liedjes, zodat de software de manier waarop mensen muziek maken kan nabootsen. “Het zou echt interessant zijn om een AI-muzieksoftware te hebben en om het mijn eigen trainingsset te kunnen geven,” zegt hij, “Ik zou het een rare brij geven, sfeer en wat andere genres die normaal niet samengaan, en gewoon kijken wat er gebeurt.”

Dit concept van het sturen van het soort muziek dat een AI genereert door middel van training wordt ook gedeeld door Dr. Burgoyne, en hij trekt parallellen tussen dit idee en andere bekende vormen van artistieke expressie. “Het is niet anders dan het maken van een collage of het samenstellen van een goed ontworpen museum,” zegt hij. “Met AI is het hetzelfde idee. Als je je eigen AI samenstelt, moet je op een gegeven moment stellen dat het je eigen product is geworden.”

Deze omarming van het gebruik van AI in muziek betekent niet dat Burgoyne en Lipper geen onopgeloste problemen zien met de technologie en de implicaties ervan. En die hebben natuurlijk te maken met het op gepaste wijze compenseren van artiesten wiens materiaal wordt gebruikt om deze algoritmes te trainen, of op zijn minst met het verkrijgen van hun toestemming voor dit proces. Volgens Burgoyne is dit “een gigantisch grijs gebied”.

Het AI Songfestival, dat dit jaar plaatsvindt in Galicië, heeft een aantal ideeën over hoe met dit grijze gebied om moet worden gegaan. De organisatie van het evenement heeft onlangs een jurist ingehuurd om hen te helpen een passende oplossing te vinden, maar er zijn ook andere manieren waarop ze een ethisch gebruik van AI garanderen. Namelijk de manier waarop ze een winnaar kiezen. “Er zijn vier criteria,” vertelde Burgoyne ons, “Het nummer zelf, creativiteit, samenwerking tussen mens en AI en ethiek.” Bij het ethische onderdeel houdt de jury rekening met de mate waarin er rekening is gehouden met de rechten van de artiesten, maar ook of de tracks respectvol blijven voor verschillende culturen bij het gebruik van bijvoorbeeld klassieke Thaise hoboklanken of Galicische volkselementen.

Om deze criteria in de gaten te houden, eist de wedstrijd dat elk nummer gepaard gaat met een procesdocument waarin de producenten uitleggen waarom ze het nummer hebben gemaakt en welke technische procedures ze daarbij hebben gevolgd. Burgoyne legt uit dat deze documenten net zo belangrijk kunnen zijn als het uiteindelijke nummer zelf. “We zijn niet geïnteresseerd in AI met een druk op de knop, waarbij je op een knop klikt en een nummer krijgt.”

Plagiaat is een ander groot probleem als het gaat om de opkomst van AI die muziek maakt. Hier gaat het niet alleen om het compenseren van artiesten voor het leveren van “trainingsmateriaal” aan de software, maar ook om AI die iets te goed is in het nabootsen van het geluid en de stijl van een artiest. Als het gaat om overduidelijke imitaties, zoals in het geval van Drake en The Weeknd, kunnen artiesten gebruik maken van bestaande auteursrechtmechanismen.

Maar als het aankomt op “per ongeluk” plagiaat, kan het lastiger worden. AI-muziekalgoritmen werken door verschillende stukjes muziek die ze hebben geleerd ” in stukjes te hakken” en op een andere manier weer samen te voegen. “In zekere zin kan dit alleen maar plagiaat zijn, maar dat is het eigenlijk niet,” zegt Burgoyne. “Hoe vaak hebben we een muzikant niet horen praten over hun inspiratiebronnen en zelfs over specifieke nummers die geïnspireerd waren door hun favoriete artiesten. Muziek werkt al sinds jaar en dag op deze manier.” Hoewel AI de frequentie van copyrightgeschillen kan verhogen, zijn deze zeker niet nieuw in de muziek, stelt hij.

Ondanks alle controversie rond AI-muziek lijkt het er volgens zowel Lipper als Burgoyne op dat de muziek zelf uiteindelijk zal overleven en zich zal ontwikkelen. “Het zal leuk worden,” zegt Lipper, nadenkend over de toekomst van muziek. “Mensen zullen muziek blijven maken zoals we dat nu doen. En mensen zullen AI gebruiken. Het zal allemaal bestaan. Mensen zeggen altijd dat iets het einde van muziek zal betekenen, zoals toen drumcomputers kwamen, of computers in het algemeen. Maar het kwam altijd goed.”

Voor Burgoyne liggen er nieuwe onderzoeksmogelijkheden in het verschiet. Hij werkt momenteel aan een beter begrip van de interne werking van AI-programma’s die muziek maken. “Deze AI-systemen zijn zo goed in wat ze doen, dat het lastig is om volledig te verklaren hoe ze tot bepaalde resultaten komen,” vertelt hij. “Op dit moment is het gewoon een soort magie. Ze werken gewoon.” Maar zijn verwachtingen zijn gematigd. Het enige waar hij op dit moment naar streeft, is dat we de creatieve output van AI net zo duidelijk begrijpen als het creatieve proces van menselijke artiesten zoals Toucan Coma. “Als we dat kunnen bereiken, denk ik eerlijk gezegd dat we heel succesvol zullen zijn.”