Raghavendra Selvan

Projekttitel

CITADL: Complexity Informed Theory for Accelerated Deep Learning

Hvad handler dit projekt om?

Nyere avancerede kunstig intelligens-modeller (AI) kræver beregninger i stor skala, hvilket igen medfører et enormt energiforbrug, carbon-udledning, vandforbrug og andre miljømæssige konsekvenser. Der findes mange algoritmiske forbedringer, der kan reducere AI-metoders ressourceforbrug. Det kan eksempelvis ske ved at reducere mængden af træningsdata, antallet af bits, der bruges til at lagre AI-modellerne, eller ved at fjerne unødvendige beregninger. Disse strategier gør AI-modeller mere effektive, men vi mangler en fælles teori til at forklare, hvorfor vi kan gøre dem mere effektive. I CITADL-projektet ønsker jeg at bygge videre på idéer fra teoretisk datalogi fra 1960'erne, hvor forskere udviklede stærke matematiske rammeværk til at forstå tilfældighed, information og kompleksitet i data, for at forklare hvordan AI-modeller lærer, og hvordan vi kan bygge dem med færre ressourcer.

Hvordan opstod din interesse for dit forskningsfelt?

Under min ph.d. begyndte jeg at bygge AI-modeller til analyse af medicinske billeder, og jeg fandt dem ikke blot spændende, men også ekstremt nyttige. I løbet af de seneste år har vi dog bevæget os mod en tendens, hvor vi bygger stadig større AI-modeller, der kræver massive beregningsressourcer, hvilket medfører store miljømæssige omkostninger. Jeg er blevet særligt interesseret i, hvordan disse omkostninger ikke kun påvirker klimaet, men også spørgsmål om social lighed og adgangen til at udvikle AI-modeller. Min seneste forskning har fokuseret på at forbedre bæredygtigheden inden for AI. Undervejs indså jeg også, at der ikke fandtes nogen sammenhængende forklaring på, hvorfor vi er nødt til at bygge store modeller for derefter at gøre dem mere effektive. Dette er blevet mit nuværende forskningsfokus, som vil blive forfulgt i dette projekt.

Hvad er de forskningsmæssige udfordringer og perspektiver ved dit projekt?

Overvej de to sekvenser, A = [101 001 110] og B = [100 100 100]. Hvis vi kigger nærmere på dem, kan vi observere, at den ene sekvens er mere kompleks end den anden. Mens sekvens B har et gentagende mønster af 100, er der ikke noget klart mønster i sekvens A; derfor betragter vi sekvens A som værende mere kompleks end B. Dette understreger en fundamental idé i algoritmisk informationsteori: sekvenser med mønstre kan komprimeres, hvorimod tilfældige sekvenser ikke kan komprimeres. Vi vil bruge matematiske rammeværk udviklet omkring algoritmisk kompleksitet til at forklare, hvordan deep learning-modeller lærer, og hvordan vi kan komprimere dem for at gøre dem mere effektive. Der er mange udfordringer, vi tilstræber at løse i dette projekt. Den vigtigste af disse er at bygge bro mellem algoritmisk kompleksitet og behovene hos moderne AI-metoder.

Hvilke perspektiver vurderer du selv, at din forskning på sigt kan have for det omgivende samfund?

Globalt set vokser elektricitetsforbruget og de miljømæssige omkostninger ved AI i et hurtigt tempo. Dette hænger sammen med de enorme mængder ressourcer, der kræves for at bygge dem. Formålet med CITADL-projektet er at skabe en teoretisk forståelse af læring og komprimering i AI-modeller og udvikle nye klasser af effektive AI-metoder. Jeg forventer, at resultaterne fra dette projekt vil hjælpe med at håndtere de voksende ressourceomkostninger ved moderne AI-metoder. Dette kan have en enorm betydning for at forbedre bæredygtigheden inden for AI ved at reducere deres klimapåvirkning og forbedre adgangen til disse metoder globalt.

Hvad vil det betyde for din forskerkarriere, at du indgår i Sapere Aude-programmet?

Anerkendelsen fra Sapere Aude: DFF-Forskningsleder-programmet vil hjælpe mig med at forfølge idéerne om bæredygtig AI med de nødvendige ressourcer og ambitioner. Dette vil også hjælpe mig med at konsolidere min forskningsgruppe, så vi kan adressere projektets tekniske udfordringer. Jeg forventer desuden, at Sapere Aude-bevillingen vil være med til at løfte det forskningsarbejde, der udføres i min gruppe ved Københavns Universitet – og i dansk forskning generelt – yderligere på et internationalt niveau.