Neste opp for AI: Lære å lese leppene dine

En pasient sitter i en sykehusseng, et bandasje som dekker nakken med en liten åpning for trakeostomirøret som forsyner ham med oksygen.

På grunn av sin nylige operasjon, presenterte mannen i dette markedsføringsvideo kan ikke vokalisere. Så en lege holder opp en smarttelefon og registrerer pasienten mens han munner en kort setning. En app kalt SRAVI analyserer leppebevegelsene og gir på omtrent to sekunder sin tolkning - "Jeg trenger sug."

Det virker som et enkelt samspill, og i noen henseender er SRAVI (App for talegjenkjenning for stemmeforstyrrede) fortsatt ganske forenklet. Det kan bare gjenkjenne noen titalls setninger, og det gjør det med omtrent 90 prosent nøyaktighet. Men appen, som er laget av den irske oppstarten Liopa, representerer et massivt gjennombrudd innen visuell talegjenkjenning (VSR), som innebærer å trene AI for å lese lepper uten lydinngang. Det vil trolig være den første leppelesende AI-appen som er tilgjengelig for offentlig kjøp.

Forskere har jobbet i flere tiår for å lære datamaskiner å lese av, men det har vist seg å være en utfordrende oppgave selv med fremskritt innen dyp læringssystemer som har hjulpet å knekke andre landemerke problemer. Forskningen er drevet av et bredt spekter av mulige kommersielle applikasjoner - fra overvåkingsverktøy til stille kommunikasjonsapper og forbedret virtuell assistentytelse.

Liopa er i ferd med å sertifisere SRAVI som medisinsk utstyr i klasse I i Europa, og selskapet håper å fullføre sertifiseringen innen august, som gjør det mulig å begynne å selge til helsepersonell.

Selv om deres intensjoner for teknologien ikke er klare, jobber mange av teknologigigantene også med å lese lip-AI. Forskere tilknyttet eller jobber direkte for Google, Huawei, Samsung og Sony forsker alle på VSR-systemer og ser ut til å gjøre raske fremskritt, ifølge intervjuer og hovedkortets gjennomgang av nylig publiserte forsknings- og patentsøknader. Bedriftene svarte enten ikke eller takket nei til intervjuer for denne historien.

Etter hvert som leppelesende AI fremstår som et levedyktig kommersielt produkt, blir teknologer og vakthunder for personvern stadig mer bekymret for hvordan den utvikles og hvordan den en dag kan distribueres. SRAVI, for eksempel, er ikke den eneste applikasjonen av leppelesende AI som Liopa jobber med. Selskapet er også i fase to av et prosjekt med et britisk forsvarsforskningsbyrå for å utvikle et verktøy som gjør at rettshåndhevelsesbyråer kan søke gjennom lydløse CCTV-opptak og identifisere når folk sier bestemte nøkkelord.

Overvåkningsselskap Motorola Solutions har patent på et leppelesesystem designet for å hjelpe politiet. Skylark Labs, en oppstart som grunnlegger har bånd til US Defense Advanced Research Projects Agency (DARPA), fortalte Motherboard at dets leppelesesystem for tiden er distribuert i private hjem og et statskontrollert kraftselskap i India for å oppdage stygt og voldelig språk. .

"Dette er et av disse områdene, fra mitt perspektiv, som er et godt eksempel på" bare fordi vi kan gjøre det, betyr ikke at vi burde det, "sa Fraser Sampson, Storbritannias kommisjonær for biometri og overvåkingskamera, til Motherboard. “Min største bekymring på dette området ville ikke nødvendigvis være hva teknologien kunne gjøre og hva den ikke kunne gjøre, det ville være den kjølende effekten av at folk tror den kunne gjøre det den sier. Hvis det da hindret dem i å snakke offentlig, så er vi i et mye større område enn bare privatliv, og personvern er stort nok. "

Fremveksten av leppelesende AI minner om ansiktsgjenkjenningsteknologi, som var et nisjeområde for forskning i flere tiår før det ble stille, men raskt, kommersialisert som et overvåkingsverktøy som begynte tidlig på 2000-tallet.