Tools & Detectie

Onderstaande is een opsomming van wat ik tegen ben gekomen, GEEN advies en/of waarde oordeel over de kwaliteit! 

Deepfakes genereren

Er zijn diverse bedrijven die de mogelijkheid bieden tot het genereren van deepfakes ten behoeve van een breed scala aan toepassingen. Stuur vooral een berichtje als je iets wilt laten toevoegen.

Face/video

• DiepNep: https://www.youtube.com/c/DiepNep/featured
• https://metaphysic.ai/
• https://www.deepbrainai.io/en/deepbrain-ai-human/
  https://github.com/MachineEditor/MachineVideoEditor
• https://github.com/iperov/DeepFaceLab

Voice

 Kijk voor een recent overzicht op https://geekflare.com/ai-voice-cloning-tools/ hier worden 11 tools beschreven. Gek genoeg staat https://beta.elevenlabs.io/ hier niet bij, terwijl zij recent juist veel misbruikt werden, bijvoorbeeld om de stem van Emma Watson uit Mein Kampf te laten voorlezen.

• https://www.veritone.com/applications/veritone-voice/
• https://auspicious3000.github.io/autovc-demo/
• https://jjery2243542.github.io/one-shot-vc-demo/
• https://github.com/leimao/Voice-Converter-CycleGAN
• https://www.ispeech.org/voice-cloning

Digital Humans

• Synthesia.io
• digitalhumans.com/
• deepbrainai.io
• colossyan.com
  

Detectie

Helaas zijn er (nog) geen goede tools voor geautomatiseerde detectie van synthetische media zoals deepfakes, maar een score van 65% is beter dan niets. Als je je bewust bent van de beperkingen kun je de tools wel gebruiken. De tool die 65% haalt, is niet publiek beschikbaar.  De enige aanpak die echt werkt is onderzoek doen naar de context, en daarbij gebruik makend van osint tools en crowdsourcing.

Een overzicht van beschikbare tools/bedrijven(realiseer je dat naast een beperkt resultaat, waarbij je fakes kunt missen, er ook sprake kan zijn van false positives waarbij de tool zegt dat iets echt is, terwijl dit niet zo is!):

Foto/video

• Voor de wat oudere GAN technologie, die ook achter thispersondoesnotexist schuil gaat, is er nu een chrome extensie
• Deepware.ai (alleen video, gratis, direct resultaat zonder inlog/email, herkende tot nu toe geen van mijn video's)
• https://platform.sensity.ai/
• https://www.duckduckgoose.nl
• http://zinc.cse.buffalo.edu/ubmdfl/deep-o-meter/ (gratis, je kunt er ruim 10 modellen aanvinken, ik moest diverse reminders doen en het 1x opnieuw indienen, resultaat komt per email)
• https://deepfact.3duniversum.com/ (je kunt een demo aanvragen, zij bieden oplossingen op maat voor jouw specifieke casus, niet getest)
• Examples of awareness campaigns 
• www.spotdeepfakes.org (but remember a good deepfake can't be recognised by visual inspection)
• harmonysquare. game/en (on disinformation)

Audio

Er zijn veel tools die ook aan biometrische identificatie doen ter detectie van deepfake-fraude (bijvoorbeeld stemmen aan telefoon). Algemeen advies, ga niet alleen af op wat aanbieders aangeven, zorg voor eigen testmateriaal en doe (bij voorkeur samen met andere organisaties) grondig vergelijkend en verdiepend onderzoek, de wapenwedloop gaat hard!

• Het bedrijf Dessa heeft de broncode voor het detecteren van audiofakes beschikbaar gesteld (dus helaas geen kant en klare tool)
• Code, and detailed instructions: Download on our Github.
• Install Atlas: Download the free Community Edition of Atlas.
• Het Digger-project werkt aan detectie tools voor zowel beeld als audio en ook cheapfakes (of shallow fakes zoals zij het noemen, manipulaties op low-tech manier)
• Wetenschappelijke resultaten gepresenteerd op 2021 Edition of the Automatic Speaker Verification and Spoofing Countermeasures Challenge (September 2021):
  https://www.isca-speech.org/archive/asvspoof_2021/

·         https://news.rub.de/english/press-releases/2021-12-20-it-security-identifying-fake-voice-recordings

• https://www.pnas.org/doi/10.1073/pnas.2110013119
  We compare the performance of ordinary human observers with the leading computer vision deepfake detection model and find them similarly accurate, while making different kinds of mistakes. Together, participants with access to the model’s prediction are more accurate than either alone, but inaccurate model predictions often decrease participants’ accuracy.

De tools hebben als nadeel dat ze gericht zijn op specifieke Machine Learning modellen (GAN). Je kunt er dus geen zogenaamde cheapfakes (knip- en plakwerk) of andere AI-methoden mee detecteren.
Op langere termijn bieden detectietools geen oplossing. Allereerst omdat diezelfde detectoren gebruikt worden om betere deepfakes te creëren. Hierdoor is de verwachting dat deepfakes straks zo goed zijn, dat detectie niet meer mogelijk is. Daarnaast wordt verwacht dat binnen 5 jaar meer dan 90% van de online content synthetisch is, fake dus. Hierdoor zal een detector voor deepfakes continu aanslaan.