Niels van Berkel

Projekttitel

Safeguarding Users’ Cognitive Autonomy in Human-AI Interaction

Hvad handler dit projekt om?

Dette projekt undersøger, hvordan digitale systemer kan designes til at beskytte brugeres selvstændige tænkning, når de interagerer med AI-systemer i både deres dagligdag og deres professionelle arbejde. Vi sigter efter på diskret vis at registrere de øjeblikke, hvor brugerne skifter over til ‘kognitiv autopilot’, og de eksempelvis integrerer tekstforslag direkte i deres udkast, eller accepterer AI-genereret indhold, uden at verificere om det er korrekt. Med udgangspunkt i dette vil vi dynamisk justere systemets adfærd for at nedsætte ukritisk afhængighed af AI, som sikrer folks kognitive autonomi samtidig med at der fortsat kan drages nytte af de muligheder som AI introducerer.

Hvordan opstod din interesse for dit forskningsfelt?

Digitale teknologier præger i dag store dele af vores hverdag. De redskaber, vi bruger, former hvordan vi arbejder, skaber bånd med andre, samarbejder, reflekterer og foretager beslutninger. Design af systemer, der understøtter menneskers behov og værdier, kræver indsigt og perspektiv fra flere forskellige fagområder. For mig gør denne tværfaglighed mit forskningsområde særdeles interessant og garanterer også, at der altid er mere at lære. Eftersom digitale teknologier rører ved så mange aspekter af vores liv, har det at arbejde sammen om at opnå en mere menneskeorienteret digital fremtid stor betydning og giver et indblik i, hvad der ligger foran os.

Hvad er de forskningsmæssige udfordringer og perspektiver ved dit projekt?

Dette projekt adresserer tre centrale videnskabelige udfordringer. For det første sigter vi at udvikle metoder til at identificere udsving i brugeres kognitive tilstande, som samtidig værner om brugerens privatliv og som forløber ubemærket og kontinuerligt baseret udelukkende på interaktionsdata. For det andet er det nødvendigt at designe interventionsteknikker, der understøtter kognitiv autonomi og ikke opfattes som frustrerende eller forstyrrende, da teknologierne ellers ganske simpelt ikke vil blive brugt. For det tredje sigter projektet at validere disse detektions- og interventionsmetoder i virkelige miljøer. Selvom dette introducerer nye videnskabelige udfordringer, er det kritisk at undersøge, om resultaterne kan generaliseres uden for kontrollerede laboratorieomgivelser.

Hvilke perspektiver vurderer du selv, at din forskning på sigt kan have for det omgivende samfund?

Eftersom den rolle AI spiller i vores samfund gradvist vokser, er det yderst relevant at skabe en forståelse for, hvordan den påvirker vores individuelle og fælles tænkning. Vores mål er at udvikle AI-redskaber, der understøtter frem for at overtage dele af den menneskelige tænkning ved at registrere, hvornår folk frakobler og efterfølgende tilkobler deres kritiske tænkning. På lang sigt vil de samfundsmæssige implikationer af dette spænde over en bred vifte af aktiviteter, fra studerende, der skal lære at fortolke og anvende ny information, til kritisk klinisk beslutningstagning under tidspres. Helt konkret sigter dette projekt efter at have betydning gennem teknisk design af systemer og udviklingen af retningslinjer, der understøtter en ansvarlig implementering af AI.

Hvad vil det betyde for din forskerkarriere, at du indgår i Sapere Aude-programmet?

Sapere Aude-bevillingen giver videnskabelig frihed til at forfølge en ny forskningsretning. Det giver mig mulighed for at forme et team med de tværfaglige egenskaber, som kræves for at opnå nye indsigter i menneske-AI-interaktion. Dette styrker vores igangværende arbejde og fremmer yderligere synergi i metode- og redskabsudvikling. Slutteligt giver denne bevilling mig muligheden for både at skabe nye forbindelser og styrke de eksisterende med ledende forskere hele verden over og støtter heraf den fortsatte udvikling af vores forskning gennem tværfaglige udvekslinger af idéer.