AI detectează videoclipuri deepfake ale președintelui ucrainean Volodymyr Zelenskyy

Un detector de deepfake conceput pentru a identifica expresii faciale unice și gesturi ale mâinii ar putea identifica videoclipuri manipulate ale unor lideri mondiali precum Volodymyr Zelenskyy și Vladimir Putin

De Jeremy Hsu

Un detector de deepfake poate identifica videoclipuri false ale președintelui Ucrainei, Volodymyr Zelenskyy, cu o mare acuratețe, analizând o combinație de voci, expresii faciale și mișcări ale corpului superior. Acest sistem de detectare nu ar putea doar să-l protejeze pe Zelensky, care a fost ținta unei încercări de deepfake în primele luni ale invaziei ruse a Ucrainei, ci și să fie antrenat să semnalizeze deepfake-urile altor lideri mondiali și magnați de afaceri.

„Nu trebuie să te distingem de un miliard de oameni – trebuie doar să te deosebim de tine [the deepfake made by] oricine încearcă să te imite”, spune Hany Farid la Universitatea din California, Berkeley.

Farid a lucrat cu Matyáš Boháček la Johannes Kepler Gymnasium din Republica Cehă pentru a dezvolta capabilități de detectare a fețelor, voci, gesturi cu mâinile și mișcări de sus. Cercetarea lor se bazează pe lucrările anterioare în care a fost antrenat un sistem AI detectează fețe deepfake și mișcările de cap ale liderilor mondiali, cum ar fi fostul președinte Barack Obama.

Boháček și Farid au instruit un model de computer pe mai mult de 8 ore de videoclipuri cu Zelenskyy care fuseseră postate anterior public.

Sistemul de detectare analizează multe clipuri de 10 secunde luate dintr-un singur videoclip, analizând până la 780 de caracteristici comportamentale. Dacă semnalează mai multe clipuri din același videoclip ca fiind false, acesta este semnalul pentru analiștii umani să se uite mai atent.

„Putem spune: „Ah, ceea ce am observat este că, cu președintele Zelenskyy, când își ridică mâna stângă, sprânceana dreaptă se ridică și noi nu vedem asta”, spune Farid. „Ne imaginăm întotdeauna că vor fi oameni în buclă, fie că sunt reporteri sau analiști de la Agenția Națională de Securitate, care trebuie să fie capabili să se uite la asta spunând: „De ce crede că este fals?”

Analiza holistică a capului și a părții superioare a corpului a detectorului de deepfake este potrivită în mod unic pentru a identifica videoclipuri manipulate și ar putea completa detectoarele de deepfake disponibile comercial, care se concentrează în principal pe reperarea modelelor mai puțin intuitive care implică pixeli și alte caracteristici ale imaginii, spune Siwei Lyu la Universitatea din Buffalo din New York, care nu a fost implicat în studiu.

„Până în acest moment, nu am văzut niciun exemplu de algoritmi de generație deepfake care să poată crea mâini umane realiste și să demonstreze flexibilitatea și gesturile unei ființe umane reale”, spune Lyu. Asta oferă celui mai recent detector un avantaj în prind deepfake-urile de astăzi care nu reușesc să surprindă în mod convingător conexiunile dintre expresiile faciale și alte mișcări ale corpului atunci când o persoană vorbește – și pot rămâne în fața ritmului rapid al progreselor în tehnologia deepfake.

Detectorul de deepfake a obținut o acuratețe de 100% atunci când a fost testat pe trei videoclipuri deepfake ale lui Zelenskyy care i-au modificat mișcările gurii și cuvintele rostite, comandate de la compania Colossyan din Delaware, care oferă videoclipuri personalizate cu actori AI. În mod similar, detectorul a funcționat impecabil împotriva deepfake-ului real care a fost lansat în martie 2022.

Dar procesul de instruire care necesită timp, care necesită ore de video pentru fiecare persoană de interes, este mai puțin potrivit pentru identificarea deepfake-urilor care implică oameni obișnuiți. „Obiectivul mai futurist ar fi modul de a face aceste tehnologii să funcționeze pentru persoanele mai puțin expuse, care nu au atât de multe date video”, spune Boháček.

Cercetătorii au construit deja un alt detector de deepfake concentrat pe descoperirea videoclipurilor false ale președintelui american Joe Biden și se gândesc să creeze modele similare pentru personalități publice precum rusul Vladimir Putin, chinezul Xi Jinping și miliardarul Elon Musk. Ei plănuiesc să pună detectorul la dispoziția anumitor organizații de știri și guverne.

Referința jurnalului: PNAS, DOI: 10.1073/pnas.2216035119