Forskere bruker kunstig intelligens til å gjøre tanker om til bilder, 80 % nøyaktighet

Kunstig intelligens kan lage bilder basert på tekstmeldinger, men forskere avduket et galleri med bilder teknologien produserer ved å lese hjerneaktivitet.

Den nye AI-drevne algoritmen rekonstruerte rundt 1,000 bilder, inkludert en teddybjørn og et fly, fra disse hjerneskanningene med 80 prosent nøyaktighet.

Forskere fra Osaka University brukte den populære stabile diffusjonsmodellen, inkludert i OpenAIs DALL-E 2, som kan lage alle bilder basert på tekstinndata.

Teamet viste deltakerne individuelle sett med bilder og innsamlede fMRI-skanninger (funksjonell magnetisk resonansavbildning), som AI deretter dekodet.

Vi viser at metoden vår kan rekonstruere høyoppløselige bilder med høy semantisk troskap fra menneskelig hjerneaktivitet," delte teamet i studien publisert i bioRxiv.

"I motsetning til tidligere studier av bilderekonstruksjon, krever ikke metoden vår trening eller finjustering av komplekse dyplæringsmodeller."

Algoritmen henter informasjon fra deler av hjernen som er involvert i bildeoppfattelse, slik som nakke- og tinninglappene, ifølge Yu Takagi, som ledet forskningen.

Teamet brukte fMRI fordi det fanger opp blodstrømsendringer i aktive hjerneområder, Science.org rapporter.

FMRI kan oppdage oksygenmolekyler, slik at skannerne kan se hvor i hjernen våre nevroner - hjernenerveceller - jobber hardest (og trekker mest oksygen) mens vi har tanker eller følelser.

Totalt fire deltakere ble brukt i denne studien, som hver så på et sett med 10,000 XNUMX bilder.

AI-en begynner å generere bildene som støy som ligner på TV-statisk, som deretter erstattes med kjennetegn som algoritmen ser i aktiviteten ved å referere til bildene den ble trent på og finne en match.

"Vi demonstrerer at vårt enkle rammeverk kan rekonstruere høyoppløselige (512 x 512) bilder fra hjerneaktivitet med høy semantisk troskap," ifølge studien.

'Vi tolker hver komponent i en LDM kvantitativt fra et nevrovitenskapelig perspektiv ved å kartlegge spesifikke komponenter til forskjellige hjerneregioner.

Vi presenterer en objektiv tolkning av hvordan tekst-til-bilde-konverteringsprosessen implementert av en LDM [en latent diffusjonsmodell] inkorporerer den semantiske informasjonen uttrykt av den betingede teksten, samtidig som den opprettholder utseendet til det originale bildet.'

Les hele historien her ...