a12c1a67

Tips voor het herkennen van GenAI

Sun, 22 Jun 2025 09:37:34 GMT

Afgelopen maanden mocht ik weer diverse workshops over Generatieve AI verzorgen bij een verscheidenheid aan organisaties. Altijd maatwerk, maar hieronder wat tips die voor iedereen nuttig zijn. De focus is op beelden.

Generatieve AI (GenAI)

Met GenAI kun je teksten, audio en beelden op maat laten genereren of bestaand materiaal manipuleren. Voor de herkenning is het handig om bij beelden onderscheid te maken tussen:

Specifieke GenAI, zoals de traditionele deepfakes, waarbij het systeem bijvoorbeeld specifiek op gezichten is getraind en in een afbeelding of (live) video het gezicht kan vervangen door het gezicht van iemand anders (faceswap). Of alleen de lippen kan laten bewegen (lipsync) om de persoon op natuurlijke wijze te laten zeggen wat jij wilt. De oorspronkelijke omgeving blijft hierbij behouden, waardoor je minder aanknopingspunten hebt. De huidige detectietools zijn specifiek op het herkennen van dit soort deepfakes getraind. Maar omdat ze onvoldoende betrouwbaar zijn zul je zelf aanvullend technisch en contextueel onderzoek moeten doen (tips hieronder).
Generieke GenAI, hierbij is het systeem getraind op allerlei soorten tekst, audio en video en kan het daardoor plaatjes genereren over elk onderwerp. En video en audio combineren. Je kunt aan het systeem vragen wat je wilt hebben via de prompt . Doordat ook de omgeving met AI is gemaakt, heb je meer aanknopingspunten. En omdat bij elke prompt het plaatje vanaf nul opnieuw gegenereerd wordt, is het resultaat van 2 prompts waarin een realistisch resultaat wordt gevraagd nooit exact hetzelfde.

Dit kan wel met tools als Photoshop omdat je dan een aangebrachte kras in exact dezelfde vorm kunt hergebruiken, maar deze tools zijn minder makkelijk en toegankelijk (betaalbaar) dan GenAI. Bij documenten, zoals facturen, is het handmatig manipuleren nog steeds bijna net zo makkelijk als met GenAI. Maar voor fraudeurs die geen bestaand voorbeeld hebben is GenAI een uitkomst.

Waar kun je het tegenkomen

Voiceberichten of telefoontjes waarbij je de stem hoort van een bekende, maar een stemkloon is gebruikt door criminelen om informatie of geld te verkrijgen;
Echt lijkende foto’s, video’s, facturen, post’s op sociale media, website-klonen, screenshots van bankoverschrijvingen & App-gesprekken en andersoortige documenten, gebruikt als bewijs voor iets, of om geld of informatie te verkrijgen.
Mensen die ergens veel kennis van lijken te hebben door wat ze publiceren of vertellen (online of aan de telefoon). Dat lukt ze door zich (live) te laten coachen door een taalmodel als ChatGPT.
Nep of valse produkten, zo staat Amazon vol met boeken over populaire onderwerpen, of ‘geschreven’ door populaire auteurs, terwijl ze volledig door AI gegenereerd zijn.

Herkennen
Er zijn veel deepfake-detectietools beschikbaar op internet, zowel betaald als gratis, maar de resultaten zijn onbetrouwbaar. Een deel van de deepfake foto’s wordt niet herkend, maar erger is dat betrouwbare afbeeldingen regelmatig worden aangeduid als deepfake. Daarnaast speelt wetgeving als de AVG (en WPG) een rol, foto’s die jij (ver)krijgt kun je niet zomaar delen met onbekende derden op het internet.

Wat echt helpt om manipulaties te leren kennen, is zelf spelen met tools als ChatGPT. Niet alleen leer je daardoor wat mogelijk is, je gaat ook herkennen waar de tools nog niet zo goed in zijn, waardoor je manipulaties sneller herkent. Onthoud dat mensen ook zonder GenAI documenten beelden of audio kunnen manipuleren!

Tips (let op, onderstaande zijn indicaties, geen bewijs)

Waar mogelijk: stel zelf veilig , als je de foto, social media post of het chatgesprek zelf bekijkt op de telefoon of computer van degene die het aandraagt, heb je meer context (is het echt een gesprek in WhatsApp of is het een gegenereerde screenshot).
Kijk ook naar de eigenschappen (exif / metadata) van een bestand. Metadata zie je door met je rechtermuisknop op een bestand te klikken en dan te kiezen voor Eigenschappen.
Helaas laat bijvoorbeeld ChatGPT geen afwijkende metadata achter in PDF, Word of Excell bestanden , wel kunnen de aanmaak- en wijzigingsdatum een aanwijzing geven, of de versiegeschiedenis.
Een (1) is geen. Generatieve AI maakt (genereert) beelden steeds vanaf nul, waardoor in verschillende afbeeldingen de manipulaties er verschillend uitzien. Vraag, bijvoorbeeld bij een aangifte of schademelding, om meer foto’s , genomen uit verschillende hoeken.
Gaat het om een omgeving buiten, dan kun je deze via Google Streetview vergelijken met de echte situatie.
Kijk of je de foto op internet kunt terugvinden door via Google te zoeken op afbeelding . Soms vind je dan dezelfde foto zonder manipulatie, let ook op datum en context.

In formele documenten zoals facturen zitten vaak foutjes in BTW-, bankrekening- of product nummers , als deze gegenereerd zijn door het systeem (dus niet in prompt meegegeven).
AI is (voorlopig) slecht in natuurkundige wetten en daarom minder goed in kloppende schaduw of reflecties in ramen of plassen water, vaak zijn er in de achtergrond niet kloppende details te zien zoals lantaarnpalen die niet doorlopen, teksten die niet kloppen, of een perspectief dat niet juist is.

Om realistische videobeelden van een bestaand persoon te maken wordt meestal gebruik gemaakt van deepfakes; Een bestaande video of foto van de betreffende persoon wordt gemanipuleerd waardoor diegene zegt wat jij wilt (lipsync), of in een geacteerde/bestaande video wordt het gezicht vervangen door de target (zoals bij deepporn).
De huidige kwaliteit is dermate dat je in de beelden zelf geen onvolkomenheden meer ziet. Technisch en Contextgericht onderzoek zijn dan noodzakelijk, zoals zoeken of dezelfde beelden elders voorkomen, of er alternatieve informatie is (Osint), zoeken of schaduwen & (weers)omstandigheden kloppen met geclaimde datum/tijdstip, kijken naar metadata en informeren in de omgeving of bij factcheckers.
Realistische beelden gemaakt met generieke GenAI, zoals nieuwsuitzendingen, bevatten bijna altijd niet-bestaande personages (die op een bekende kunnen lijken) met vaak iets te gave gezichten. Hierbij wordt ook de achtergrond mee gegenereerd. Let daarin op eerder genoemde fouten, en bijvoorbeeld of de achtergrond klopt met de geclaimde omgeving. Dergelijke filmpjes door generieke GenAI met bekende bestaande personen zijn nog steeds slecht en makkelijk te herkennen.
Als het gaat om bewakingscamerabeelden, dan is het dermate complex om deze (live) aan te passen dat dit alleen kan met een zeer professionele organisatie die over voldoende middelen beschikt, en waarbij het niet mogelijk is de camera te bewegen. Ook hier geldt een (1) is geen . Met elkaar kloppende camerabeelden vanuit een verschillend perspectief is bij mijn weten nog onmogelijk (met GenAI).

Check ook met andere bronnen, NOS, RTL en BBC hebben allemaal professionele factcheckers in dienst. Ook op https://nieuwscheckers.nl/ wordt nieuws regelmatig gecheckt.

En opeens wordt alles tegen je gebruikt...

Tue, 27 May 2025 19:04:22 GMT

Iedereen die me kent weet dat ik me druk maak over alle apps die mensen gebruiken en wat er aan data mee verzameld wordt. Ook weten jullie vast hoeveel moeite het kost om die zorg over te brengen. Het is immers zo makkelijk zo’n app en wat kunnen ze nou met die data...

Heel veel, zoals we de laatste jaren in Amerika hebben gezien, en dan heb ik het niet over wijzigingen in je verzekeringspremie omdat de data die je auto over je verzamelt zonder dat je het weet gedeeld wordt. Nu ik het toch over de auto heb, eind 2024 werd bekend dat de gegevens die Volkswagen verzamelt (ook van Nederlanders) onveilig opgeslagen stonden, waaronder je persoonlijke gegevens en tot op 10cm nauwkeurig waar je wanneer was. Volgens hun voorwaarden hadden ze die sowieso kunnen delen met derden dus eigenlijk niks aan de hand. Maar weet je wat ze allemaal uit deze data (beweren te) kunnen afleiden? Volgens onderzoek van Mozilla :

“Popular global brands — including BMW , Ford , Toyota , Tesla , Kia , and Subaru — can collect deeply personal data such as sexual activity, immigration status, race, facial expressions, weight, health and genetic information, and where you drive…. Brands can then share or sell this data to third parties."

Waar ik me druk om maak is de impact hiervan op onze grondrechten, onze vrijheid, veiligheid en democratie. In 2023 kwam naar buiten dat een katholieke groepering data van de dating app Grindr kocht om te achterhalen welke priesters mogelijk homoseksueel zijn. Al in 2022 kwam naar buiten dat databrokers data verkochten waarmee je mensen kunt tracken die een planned parenthood of abortuskliniek bezoeken. Worden sinds zeker 2016 dergelijke data gebruikt om mensen online te targeten, nu kun je ze overal ook fysiek targeten, omdat je weet waar ze vandaan kwamen en waar ze na afloop naartoe gaan. Onderzoek van BNR toonde al aan dat hetzelfde geldt voor Nederlanders dankzij die leuke en makkelijke Apps.

Dit zijn slechts enkele voorbeelden, maar ze laten zien hoe makkelijk het is geworden om andersdenkenden in beeld te krijgen, te isoleren en te targeten in welke vorm dan ook.

Toen een paar weken terug bekend werd dat Musk de controle over allerlei overheidsinstanties overnam en illegaal een kopie van de gegevens van alle overheidsmedewerkers liet maken, werd ik letterlijk misselijk en moest ik denken aan hoe ons bevolkingsregister in de 2e wereldoorlog misbruikt werd.

Voor sommigen lijkt dit misschien extreem, maar ik volg de ontwikkelingen van (online) targeting, uitsluiting en discriminatie al veel langer, dat ik werk bij de politie komt omdat ik echt geloof in de waarden van onze rechtstaat. Lang snapte ik niet waarom, naast gericht targeten, het ook ging om simpelweg kapot maken. De Russen waren heel transparant over hun informatie oorlog;

“what it basically means is to change the perception of reality of every American to such an extent that despite the abundance of information, no-one is able to come to sensible conclusions in the interest of defending themselves, their families, their community and their country.” Overgelopen KGB-officier Yuri Bezmenov in 1984

Maar waarom dit ook vanuit het westen gebeurde, waar we het zo goed hebben? Het kwartje viel toen ik de documentaire zag met Trump-fluisteraar Steve Bannon; het doel is echt om het bestaande compleet te vernietigen, omdat je zo de door hen gewenste samenleving vanuit het niets kunt opbouwen.

Na het bevel om mensen met een niet hetero geaardheid te ontslaan kwam ook de oproep om elkaar vooral te verlinken, anders kon je een negatieve beoordeling krijgen. Dat nu ook alle personeelsgegevens in handen zijn van iemand die duidelijk op heksenjacht is, is niet gewoon zorgelijk, maar fundamenteel gevaarlijk. Zeker nu blijkt dat er ook banden zijn met Peter Thiel, een van de grootste ondernemers op het gebied van data analyse en iemand die zich duidelijk uitspreekt tegen de democratie.

Het is zo simpel, combineer de gegevens uit voertuigen met die van overheidsmedewerkers en je kunt ze indelen in groepjes waar je tegen bent.

Misschien dat velen nog steeds denken dat het hen niet aangaat, dat dit om Amerika gaat of dat jij niet in zo’n groep valt. Allereerst is het goed te weten dat er ook in Europa en Nederland mensen zijn die dit gedachtengoed ondersteunen. En dat, ondanks dat we met Europese regelgeving veel beter beschermd zijn, er toch ook veel informatie over jou beschikbaar is bij de datahandelaren en in onveilige (Amerikaanse) cloudomgevingen. Weet jij wat er gebeurt met de data die jouw Samsung, LG of andere 'slimme' televisie verzamelt? Welke conclusies ze daaruit trekken over jouw zijn en met wie ze dit delen? Bij gebruik geef je nagenoeg altijd goedkeuring op voorwaarden waarin staat dit mag:

“analyzing the use and effectiveness of [their] services,” and “developing [their] business and marketing strategies.”

En “their” staat dan voor elk andere organisatie waar zij een link mee (willen) hebben...

En mocht je denken “gelukkig, ik zit niet in hun doelgroep”. Weet dan dat je altijd wel in iemands doelgroep zit , en dat deze mensen blind vertrouwen op AI en data, ook als er geen wetenschappelijke onderbouwing is. Jij weet niet waarom jouw auto een conclusie trekt over jouw sexuele geaardheid. Maar voor hen wordt dat de waarheid!

Wat ik eigenlijk wil zeggen:

Stem bewust bij verkiezingen
Wees je bewust dat gemak een hoge prijs heeft.
Jij kunt nu niet overzien welke conclusies die slimme apparaten, apps en platformen trekken over jouw mentale gezondheid, sexuele geaardheid en meer. En al helemaal niet wat de consequenties hiervan zijn voor jou persoonlijk, je dierbaren en onze samenleving.
(Europese) overheden horen niet thuis op dergelijke platformen

Het lijkt alsof de meeste overheidsorganisaties nog steeds als uitgangpunt hanteren dat daar waar veel Nederlanders zitten, ook zij aanwezig moeten zijn. Maar met je aanwezigheid steun je impliciet het platform, je accepteert het als ruimte binnen de Nederlandse samenleving waar je een rol wilt hebben, je associeert je ermee. Dat terwijl je de veiligheid er niet kunt waarborgen, je geen idee hebt wie met welke informatie/gesprekken kan meekijken, wat er met de data van/over mensen gebeurt en wat dit betekent voor de profielen die over mensen samengesteld worden... Is het bijvoorbeeld wel verantwoord dat de AIVD haar vacatures deelt op LinkedIn waardoor bijvoorbeeld Amerikanen precies kunnen weten wie (interesse heeft in) solliciteren bij de AIVD?

Met onze aanwezigheid op platformen, helpen wij hen met het verzamelen van meer data over mensen in onze samenleving. Het plaatje hieronder laat als voorbeeld zien welke conclusies men denkt te kunnen trekken op basis van informatie uit je ogen. Dit kan niet alleen met een VR-bril, ook via de webcam. En we vinden dergelijke technologie niet alleen online, maar ook offline in bijvoorbeeld voertuigen .

Deze conclusies gaan heel ver, waarbij er niet altijd een wetenschappelijke onderbouwing voor is. Bijvoorbeeld ten aanzien van emotieherkenning is er veel onderzoek dat aantoont dat het niet betrouwbaar is. En zelfs als er een wetenschappelijke basis is, dan is die gebaseerd op de gemiddelden van een grote groep. Dat hoeft niet voor jou als individu te gelden. Maar het wordt wel als zodanig gebruikt. Zorgelijk zijn ook de initiatieven waaraan in de context van audio hieraan wordt gewerkt.

Het is tijd voor een alternatieve strategie voor verbinding en communicatie. Overheden zouden hier een voorbeeld- en voortrekkersrol moeten pakken. Er liggen al veel adviezen en beleidsstukken, zo adviseert de Europese Commissie al sinds 2020 om op Signal over te stappen. Wat ontbreekt is daden en handhaving.

En voor nu, ga van Twitter (X) af! Naast dat je als organisatie toch al geen eigenaar was van je account en onderzoek allang de ware aard van het platform heeft aangetoond, zou het signaal dat Hitler Spaces (thematische groepen) inmiddels geprioriteerd en gepromoot worden bij willekeurige gebruikers, voldoende moeten zijn.

Het is lastig, zo niet onmogelijk om je data van het internet af te krijgen, zeker als het eenmaal in handen van datahandelaren is. De site mydatadoneright ondersteunt bij verwijderingsverzoeken.

Beter is om vanaf nu data-collectie te laten meewegen in je besluit ergens aan deel te nemen of wel of niet iets te kopen. Daarmee bescherm je ook degenen die bij jou op bezoek komen of met je meerijden.

Voorbij de metaverse hype

Tue, 13 Feb 2024 19:47:00 GMT

Opkomst digital humans & doorbraak augmented reality

De metaverse hype raakte dit jaar qua aandacht op de achtergrond, maar de onderliggende bewegingen spelen nog steeds een belangrijke rol. Allereerst de groei van 3D (gaming) platformen en hun doorontwikkeling tot sociale netwerk- & leefwerelden, zowel naast als in plaats van de huidige sociale media. Bovenstaand plaatje uit een artikel van digital native over Roblox, beschrijft de de nieuwe kenmerken.
Daarnaast werd begin deze maand de Apple Vision Pro gelanceerd. Een duidelijke nieuwe versneller als het gaat om de steeds verdere virtualisering van onze fysieke wereld. Hierbij worden steeds meer informatielagen over de fysieke realiteit gelegd die onze waarneming beïnvloeden en ons handelen bepalen. Deze informatielagen kunnen we bewust tot ons nemen door slimme brillen op te zetten of in een auto met slimme autoruiten te stappen, maar ook onbewust worden onze waarneming en gedrag steeds vaker bepaald door een digitaal filter. Denk aan Google Maps, of de vele gezondheidsapps die jouw mening sturen over bijvoorbeeld hoe goed je geslapen hebt.

Digital Humans

Al een tijdje kunnen avatars in 3D werelden gekoppeld worden aan taalmodellen als chatgpt, waardoor ze 24/7 aanwezig kunnen zijn en volstrekt natuurlijke gesprekken hebben binnen 3D platformen, die daardoor opeens heel druk en gezellig lijken. Onderzoekers hebben laten zien dat je deze avatars via ChatGPT ook specifieke karaktereigenschappen en intenties (doelen) mee kunt geven , bijvoorbeeld het uitdragen van een bepaalde boodschap of rekruteren van nieuwe klanten/aanhangers. In combinatie met deepfake technologie en taalmodellen als ChatGPT worden trainingen niet alleen nog realistischer, maar kunnen ook overleden personen 24/7 interactief aanwezig zijn. Voor zover ik weet is Hitler nog niet tot leven gebracht, maar zijn stem is inmiddels wel gekloond zodat Hitler's toespraken nu ook in het Engels te horen zijn.
De bekende podcaster Lex Fridman had een gesprek met Mark Zuckerberg in Meta’s metaverse, waarbij ze beiden als photorealistische avatars verschenen. Fascinerend hoe goed de kwaliteit al is !
Het Beijing Institute for General Artificial Intelligence heeft een AI-kind gecreëerd genaamd Tong Tong, het kind kan zichzelf autonoom taken toewijzen, leren en haar omgeving verkennen en is in staat met haar omgeving te interacteren. Iedereen baseert zich op dezelfde bron , dus ik heb nog geen film materiaal ontdekt. Buiten het streven naar General Artificial Intelligence, heb ik ook niet kunnen vinden wat hier de positieve toepassingen van zijn...

Criminaliteit in 3D werelden (“metaverses)

Een studie naar criminaliteit in relatie tot de metaverse , mede op basis van een brainstorm met collega’s van de Nederlandse politie.
Virtuele aanranding is weer in het nieuws, de ervaring is vergelijkbaar met het fysiek ondergaan, vooral als je de mensen eromheen de dader hoort aanmoedigen. In Nederland niet strafbaar, maar de Britse collega’s doen er wel onderzoek naar .
De BBC heeft veel gepubliceerd over de misstanden in Roblox zoals nazicontent en sexclubs waar kinderen terecht kunnen , verkrachtingen, en meer . Ook in andere games worden afgesloten subwerelden met eigen regels en content gecreëerd.
Trend Micro heeft een rapport uitgebracht over de cyberdreigingen van de metaverse

Metaverse & extremisme / terrorisme

Er zijn heel veel artikelen en onderzoeken gepubliceerd over de rol van de metaverse (games) in extremisme en terrorisme. De kansen die criminelen zien kunnen ook benut worden door terroristen. Denk aan trainingen, werving, communiceren, het uitwisselen en ontwikkelen van strategieën, gamification van radicalisering etc.
Deze vind ik het meest waardevol:

Begin 2024 verscheen dit boek , waarin een overzicht wordt gegeven van de actuele kennis & discussies rondom gaming en extremisme . Zowel gerelateerd aan rechts extremisme, jihadisme als andere vormen van extremisme. De laatste hoofdstukken bevatten een verkenning naar game gerelateerde preventie en contra-extremisme inspanningen.
Veel ervan is ook overgenomen uit twee in mei 2023 verschenen rapporten; Gaming The System: How Extremists Exploit Gaming Sites And What Can Be Done To Counter Them en een andere relevante bron voor verdieping; The Online Gaming Ecosystem : Assessing Digital Socialisation, Extremism Risks and Harms Mitigation Efforts waarin aan de hand van een groot aantal casussen het online gaming ecosysteem vanuit het perspectief van terroristen en extremisten wordt toegelicht inclusief welke groepen in welke omgevingen of aanverwante platformen zitten.

Virtualisatie fysieke wereld (Augmented reality, spatial computing)

Het realtime kunnen genereren van digital twins van de fysieke omgeving is noodzakelijk om de gepersonaliseerde informatie ruimtelijk goed weer te geven in de fysieke wereld. Tot voor kort werd dit hoofdzakelijk aangeduid als augmented reality. Met de lancering van Apple’s Vision Pro zie je dat steeds vaker de term Spatial Comupting wordt gebruikt. Dit doet recht aan het ruimtelijk aspect dat een dominante rol speelt. Maar het staat ook symbool voor de gedachte van mensen dat dit een revolutionaire nieuwe manier van werken met de computer introduceert, een nieuw “operating systeem” voor het ruimtelijk kunnen werken waarbij je veel makkelijker overzicht houdt. Zelf vind ik het nog lastig voorstellen, maar in dit interview geeft Martijn Aslander wat meer context. Hier nog een grondige review van de Vision Pro en bekijk vooral op Twitter (X) de vele filmpjes van mensen die ervaren hoe het is om, terwijl je in gesprek bent en zelfs 'oogcontact'hebt, toch een hele andere werkelijkheid te zien.
Vorig jaar woonde ik een lezing bij van Levien Nordeman, over de wijze waarop gezondheidsapp onze beleving (waarneming) en gedrag beïnvloeden. Als hulpverlener moet je dus ook inzicht te krijgen in hoe de waarneming van betrokkenen gemanipuleerd kan zijn om te duiden wat er speelt. Mooi voorbeeld was hoe sommige psychiaters hier al rekening mee houden. Het bleek dat patiënten, gevraagd naar hoe ze geslapen hadden, het antwoord baseerden op wat de slaap-app tegen hun gezegd had. Het voelen werd uitbesteed aan de app, daarom vragen ze nu “hoe uitgerust voel je je” om zo een beter beeld te krijgen.
BMW heeft nu ook een Augmented reality bril gelanceerd voor motorrijders , zodat ze belangrijke informatie als snelheid en navigatie in hun bril geprojecteerd krijgen.

Divers

“Espionage and the Metaverse” – with Cathy Hackl
Goede podcast over de ontwikkeling van 2D naar 3D-platformen en de wijze waarop onze fysieke wereld steeds meer informatielagen krijgt, deels gegenereerd met AI. Wie heeft er straks controle op wat wij horen en zien...?
In dit artikel worden de uitdagingen van content moderatie in de metaverse beschreven, het ruimtelijke en vluchtige aspect maakt het complexer dan op social media.
Al wat ouder, maar het zal er niet beter op geworden zijn, deze studie uit 2018 naar diverse soorten van “harassment” in sociale VR platformen (zoals Meta Horizon), Onder groep van ruim 600 geinterviewden gaf 49% van de vrouwen aan minstens 1x sexueel lastig gevallen te zijn. 30% van de mannen rapporteerde racistische of homophobe opmerkingen, 20% van de mannen ervaarde geweldadge of bedreigende opmerkingen.
Gebruikers uit ruim 180 landen wisselen degelijks ruim 2,4 biljon chat messages uit in Roblox. 1 op de 3 chats wordt momenteel door de gebruikers vertaald, dus de recent gelanceerde een automatische vertaaldienst maakt het onderling communiceren veel makkelijker (tenminste, als je 1 van de 16 ondersteunde talen spreekt, zoals Engels, Duits, chinees, Japans, Koreaans, Italiaans maar helaas geen Nederlands)
In een eerdere blog deelden we dat de metaverse hype voorbij was, onder andere Disney stopte met haar team om een eigen wereld te creeeren. Inmiddels is duidelijk dat het de traditionele game-werelden zijn die zich doorontwikkelen naar sociale omgevingen. In een slimme move (“if you can’t beat them, join them...”)heeft Disney zich nu ingekocht bij Fortnite .
Een Duits onderzoeksinstituut heeft diverse interessante studies gepubliceerd over de metaverse & VR , zoals:
- VR in context politiewerk
- Virtual realities, real participation. Challenges and opportunities of public participation in the metaverse
Regulatory approaches to immersive worlds: an introduction to metaverse regulation

Toegift

Je zou het bijna vergeten met al mijn donkere nieuwtjes, AI kan ook veel moois brengen. Oa. Marco Derksen is bezig een lijst van AI4Good op te stellen. Tips kun je aan hem doorgeven.

Het internet bestaat uit steeds meer shit

Sun, 28 Jan 2024 20:11:06 GMT

Update generatieve AI (deepfakes, LLM's) winter 2024

Synthetische (deepfake) video en audio ontwikkelden zich snel afgelopen jaar, maar dit viel nauwelijks op tussen de doorbraken op het gebied van tekst. Het afgelopen jaar ging alle aandacht uit naar grote taalmodellen (LLM’s) en in het bijzonder ChatGPT. Na de eerste opwinding over de schijnbaar eindeloze mogelijkheden werd duidelijk dat het als tekstgenerator eigenlijk maar een beperkt aantal betrouwbare toepassingsmogelijkheden en veel risico’s kent. Juridisch zijn er zelfs zoveel kanttekeningen dat niet gecontracteerd gebruik van online generatieve AI (tekst, beeld, geluid) voor rijksambtenaren in principe verboden is . Wanneer wordt gemak belangrijker dan de waarden van de rechtsstaat?

Dit hield mij bezig de afgelopen periode tijdens het schrijven van een notitie over de maatschappelijke impact van LLM’s . Vooral toen het nieuws naar buiten kwam dat een belangrijke dataset voor het trainen van tekst-to-image systemen kinderporno bevat . Dat is de reden waarom dergelijke tools nu ook gebruikt kunnen worden voor het genereren van kwalitatief goede virtuele kinderporno.

Al in 2022 was bekend dat de datasets beelden van ISIS-executies en ‘ non consensual’ porno bevatten, maar deze werden niet offline gehaald. Nu is de dataset wel offline gehaald, maar dat geldt niet voor alle erop gebaseerde tools. Vanwege de complexiteit kiezen bedrijven vaak voor het aanpassen van de contentfilters om zo misbruik moeilijker te maken. Dit pleisters plakken zie je ook als reactie op alle problemen bij LLM’s. Het lost het oorspronkelijk probleem niet op en mensen blijven workarounds vinden om de nieuwe filters te omzeilen. Onderzoekers zijn er nu zelfs in geslaagd een AI chatbot te trainen die zelf nieuwe methoden bedenkt om de contentfilters te ontwijken .

De techbedrijven nemen niet hun verantwoordelijkheid, ze zitten in een concurrentiestrijd waarbij het essentieel is zo snel mogelijk zoveel mogelijk gebruikers afhankelijk te maken. Dit kennen we van de sociale media. Moeten wij hen dan steunen door deze tools te gebruiken? Wat mij betreft nemen we hier een scherp standpunt op in om een andere koers af te dwingen.

Gebruik van deepfakes in de politiek normaliseert

Na de vele voorbeelden over deepfake beelden zoals van de I ndonesie waar dictator Suharto , nu ook politieke tegenstanders die elkaars stem klonen om dingen te laten zeggen en desinformatie te verspreiden.
Begin februari heeft een democratische concurrent van Biden via een zogenaamd robocall systeem massaal mensen laten bellen met de stem van Biden om ze af te raden te gaan stemmen . Intussen heeft Eleven Labs het account waarmee de voicekloon is gemaakt offline gehaald. Ook hier grijpen ze weer achteraf in, terwijl hun tool al veel ellende veroorzaakte, zo staat nog steeds het fragment online waarin een stemkloon van actrice Emma Watson Mein Kampf voorleest .
Je kunt het ook voor je laten werken. Er zijn vele voorbeelden, waaronder de burgemeester van New York die zijn stemkloon al sinds 2022 laat gebruiken om inwoners van de stad in hun eigen taal geautomatiseerd te bellen voor een gesprekje. Wees hier wel transparant over, mensen die hem tegenkomen op straat denken nu ten onrechte dat hij de talen Mandarijn, Creools, Spaans en Joods spreekt.
De gevangen genomen oud premier Imran Khan van Pakistan gebruikte een stemkloon om vanachter de tralies toch campagne te kunnen voeren. Inmiddels heeft de deepfake kloon van Khan ook de verkiezingswinst opgeeist

Explosie deepporn dankzij Generatieve AI

Eerder noemde ik al dat met AI goede kwaliteit kinderporno gegenereerd kan worden omdat het erop getraind is. Steeds vaker wordt generatieve AI hiervoor ingezet, ook door kinderen zelf zoals in Spanje en New Jersey . Dat platformen hieraan verdienen maakt bestrijding moeilijker, ook dat de makers met elkaar tips uitwisselen over met welke “prompt”(vraagformulering) je de contentfilters kunt omzeilen.
Afgelopen week was Taylor Swift volop in het nieuws omdat er diverse naaktbeelden van haar in omloop zijn. Ondanks dat haar achterban probeert ze moeilijker vindbaar te maken en Twitter (X) tijdelijk blokkeerde om op haar naam te zoeken zijn ze nog steed vindbaar, ook op vele andere platformen waar haar fans niet zitten...

Generatieve AI maakt het werk van criminelen extra makkelijk

Er komen steeds meer tutorials online van scammers die bijvoorbeeld laten zien hoe ze het gezicht van iemand anders gebruiken voor romantic scams. Leuk om eens te zien hoe dat gaat.
En hoe moeilijk is 'vriend-in-noodfraude' met de stem van iemand anders? Een aantal niet-techies kreeg de mogelijkheid het uit te proberen op hun dierbaren
Er is een nieuwe dienst gelanceerd waarbij de AI voor 15 dollar allerlei soorten identiteitsbewijzen op maat voor jou genereert. Variërend van een Californisch rijbewijs tot een Zwitserse identiteitskaart of een Canadees paspoort. Alles van zeer hoge kwaliteit met de door jouw opgegeven gegevens, en een realistische achtergrond zodat het lijkt alsof je spontaan de foto hebt gemaakt. Op aanvraag kan zelfs metadata aan de foto worden toegevoegd zodat het met jouw mobiele telefoon en op jouw locatie gemaakt lijkt. Perfect voor sites waar je je online moet identificeren. Maar enorm ondermijnend voor bijvoorbeeld de aanpak tegen witwassen. De journalist heeft een gegenereerde rijbewijs getest en je kunt remote video authentication ermee voor de gek houden.
Onderzoek naar remote video authentication , zoals gebruikt wordt bij banken en andere online platformen, laat zien dat realtime faceswaps (gebruik van gezicht van iemand anders) nauwelijks te detecteren zijn en de ontwikkelingen op het gebied van detectie niet alleen steeds verder achterlopen, maar op termijn niet meer helpen. Hun lastige conclusie: je moet minimaal meer steekproeven doen en eigenlijk terug naar menselijke controle. We hebben de afgelopen jaren heel veel geïnvesteerd in biometrische oplossing voor efficiëntie en besparen op mankracht, maar dankzij deepfakes raakt de technologie steeds verder achterhaald.
Stiekem mooi dat technologie ons nu terug forceert richting meer menselijk contact.
Vooral voor de Engelse taal komt het klonen van stemmen in de context van CEO of Vriend-in-Nood fraude al regelmatig voor, denk aan de recente zaak van Bunq-bank in Nederland .
Maar het gaat verder. Een medewerker van een bedrijf in Hong Kong vertrouwde terecht het phishing mailtje niet, maar werd vervolgens uitgenodigd voor een videocall waarbij zowel de betreffende financieel verantwoordelijke was als andere bekende collega's , allen nep! Hij herkende dus niet alleen hun gezicht maar ook hun stem, waarop hij ruim 23miljoen euro overmaakte. Hier kun je je alleen tegen wapenen door consequent het initiatief tot contact naar je toe te halen op basis van bij jou bekende gegevens.
Vanuit de politie is er veel voorlichting , zowel voor burgers als bedrijven proberen ze mensen weerbaarder te maken. Het maakt ook dat er meer meldingen komen waarbij mensen aangeven dat ze echt de stem van die bekende hebben herkend. Maar een langer durend live gesprek, met interactie en veel emotie in de stem lijkt voor de Nederlandse taal nog niet haalbaar. Het probleem is dat zodra jij een profielfoto, de naam of het nummer van de betreffende bekende hebt herkend, je hersenen automatisch op die persoon zijn ingesteld. Wat maakt dat als het maar een beetje lijkt (en veel emotie/paniek maakt een stem ook anders) je erin trapt. Tips ter voorkoming vind je hier

De teloorgang van het internet

Het is goed te beseffen dat met de snelle groei van door AI gegenereerde content het internet niet beter wordt. Dit heeft ook impact op de kwaliteit van de generatieve AI systemen zelf, deze worden immers getraind op content van het internet. Dit wordt ‘ Model Collapse ’ genoemd. Het risico is dat we nu steeds meer gaan leunen op generatieve AI die uiteindelijk onvoldoende gaat presteren voor de gemaakte toepassingen. In een onderzoek werd een Model steeds weer getraind op basis van synthetische (met AI gegenereerde) teksten, waarbij na 10x het model volledige onzin begon uit te kramen.

Sommigen sturen hier ook bewust op aan. De universiteit van Chicago ontwikkelde eerder al Fawkes , hiermee kon je het gezicht, in een foto die je upload naar social media, zodanig veranderen dat het niet gebruikt kon worden voor gezichtsherkenning. De AI zou zelfs slechter gaan werken met dit trainingsmateriaal (dit wordt datapoisoning genoemd). Hun nieuwe tool Nightshade , waarmee kunstenaars hun kunstwerken kunnen beschermen, werd in 5 dagen al ruim 25.000x gedownload.

Ondertussen wordt het steeds lastiger goede informatie te vinden. Dat komt niet alleen door malafide gebruik, mensen denken ook gewoon een handig tooltje gevonden te hebben om dingen voor hen te laten doen en controleren vervolgens niet de output.

Misinformatie

Deze misinformatie vindt ondertussen zijn weg naar allerlei kanalen waar mensen er niet op voorbereid zijn, hierdoor degradeert het internet . Het is overal, d enk aan nieuws en andere artikelen , boeken die worden gerepliceerd of zelfs volledig gegenereerd. Dit kan ook gevaarlijk zijn zoals bij gegenereerde boeken over het zelf paddenstoelen plukken . Amazon heeft sowieso een probleem sinds marketeers LLM’s gebruiken om snel goede teksten te genereren zonder daarna een controle uit te voeren. Zie ook het plaatje bovenaan deze pagina.
Ook social media als Twitter (X) en Facebook worden overspoeld met gegenereerde content waarvan mensen denken dat het echt is. De platformen verdienen eraan . Opvallend is dat Google een centrale rol speelt in de verspreiding van advertenties voor deze producten en websites. Hoewel ze eraan verdienen, schaadt dit wel de betrouwbaarheid en aantrekkelijkheid van haar zoekmachine. Ook aan de vele scams op youtube waarbij deepfakes van beroemdheden worden gebruikt verdient Google trouwens behoorlijk, waardoor er geen enkele haast lijkt om deze te verwijderen.

Gelukkig is er ook weer een creatief iemand die iets gevonden heeft om je zoekresultaten te verbeteren. Naast een Ad-Blocker kun je nu een AI-Blocker installeren om te zorgen dat de AI-gegenereerde hits uit je zoekresultaten gefilterd worden .

Taalmodellen als ChatGPT

Begin 2024 is er een s tudie verschenen naar zogenaamde Malla’s (malicious LLM applications) op basis van voorbeelden uit de echte wereld, waarbij ook gekeken is naar het underground ecosysteem en de implicaties voor cybersecurity. Voor een verdieping wordt naar het onderzoek verwezen, maar conclusie is dat het aanbod sterk groeit en dat een deel van de aangeboden tooling effectief blijkt, zoals DarkGPT and EscapeGPT voor de productie van high-quality malware en WolfGPT voor het genereren van phishing emails.
Daarnaast ontdekten wetenschappers ook dat de ontwikkelaarsversie van GPT-4 ingezet kan worden als autonome hacking agent
Er is praktijkonderzoek uitgevoerd naar de meerwaarde van taalmodellen. Deze liggen vooral op het gebied van innovatie, ideation en genereren van content. Op deze onderwerpen, die goed passen bij LLM’s, scoorden mensen die ChatGPT hiervoor gebruikten gemiddeld 40% beter. Uit dit onderzoek bleek ook dat wanneer het werd ingezet voor ‘business problem solving’ de groep die ChatGPT gebruikte 23% slechter scoorde dan de groep zonder ChatGPT. Belangrijke kanttekening is dat wel ingeleverd wordt op diversiteit. Voor meer verrassende inzichten, klik op dit eerste brede praktijkonderzoek .
Onderzoek laat zien dat taalmodellen niet alleen een deel van hun trainingsdata onthouden, maar deze ook teruggeven in antwoorden, daartussen kunnen ook persoonlijke gegevens staan van mensen, zoals hun telefoonnummer.
Je kunt een LLM ontwikkelen die methoden ontwikkelt om contentfilters te ontwijken, je kunt er ook voor kiezen je vraag (prompt) in een weinig gebruikte taal te vertalen, zoals het Schots of Zulu , dan legt GPT4 graag uit hoe je een bom moet maken op basis van spullen die je in huis hebt ;-)
Steeds meer websites gebruiken AI om content te publiceren, meestal zonder dat je het merkt, maar als op de MSN pagina van Microsoft toeristen geadviseerd worden om de voedselbank in Canada te bezoeken, valt het op!
Onderzoekers vonden dat meer dan de helft van de zinnen op het web die vertaald zijn met Machine Learning van zeer slechte kwaliteit is . Het gebruik van vertaalmachines kan leiden tot besparingen en een oplossing zijn bij talen waarvoor minder tolken beschikbaar zijn. Maar ze zijn onvoldoende betrouwbaar om besluitvorming op te baseren. De verantwoordelijkheid voor de goede kwaliteit van besluitvorming kan niet bij machines gelegd worden, waar dit wel gebeurt lopen we het risico op een nieuwe toeslagenaffaire.
Caryn Marjorie, een Snapchat influencer met ruim 1,8miljoen volgers creëerde een deepfake van zichzelf waarmee mensen voor 1 dollar per minuut konden communiceren. Het systeem werd gekoppeld aan ChatGPT dat daartoe ook nog uren getraind was op onder andere haar youtube video’s. CarynAI voorzag zeker in een behoefte want had al snel 1000 abonnees. Maar helaas bleken sommige abonnees meer te willen dan vriendschap en wisten ze de chatbot al snel te verleiden tot sexueel expliciete uitspraken ondanks dat er bij de training en contentfilters bewust aandacht aan was besteed om juist dat te voorkomen.
Als het kan zullen mensen proberen rare uitspraken te verkrijgen. Koeriersdienst DPD heeft zijn chatbot uitgeschakeld nadat die het bedrijf had beledigd en scheldwoorden had gebruikt in een gesprek met een klant.
En hoe zit het juridisch? Als jij de chatbot inzet, ben jij verantwoordelijk voor de uitspraken die gedaan worden zoals AirCanada ondervond. Zou dit de reden zijn dat openAI zelf nog steeds een ouderwetse gescripte chatbot gebruikt?
Toch neemt de rol van autonome chatbots toe in dagelijks leven van mensen, voor een goed gesprek , maar er worden ook echte relaties opgebouwd, waarbij het stopzetten of aanpassen van de dienstverlening kan voelen als een verbroken relatie. De bekendste is Replika, gestart in 2017. Dit artikel geeft een mooi inkijkje in wat het voor mensen kan betekenen.
Moderne slavernij , kinderarbeid , de arbeidsomstandigheden in het productie en service proces zijn heftig. Voor kleding en andere producten werken we inmiddels met/aan fairtrade/fairproduction keurmerken, waarom eisen we dit niet bij AI?

Massabeinvloeding en desinformatie

De verwachting was dat deepfakes een enorme rol zou spelen in de informatie oorlog tussen Isreal en Hamas. De praktijk is anders, generatieve AI speelt zowel een kleinere, als andere rol dan verwacht. Men neemt aan dat de kleinere rol het gevolg is van onder andere de enorme hoeveelheid echte, schokkende informatie die al aanwezig is. Daarnaast is het, waar het complotten betreft of bepaalde overtuigingen, niet moeilijk informatie te vinden die je daarin bevestigd. Verder is het net zo makkelijk, zo niet makkelijker om met photoshop iets aan te passen in een bestaande afbeelding in plaats van iets compleets nieuws te genereren. Meer in dit rapport.

In de context van de oorlog in Oekraine zie je dat veel vaker gebruik wordt van generatieve AI, soms gericht op 1 specifieke persoon zoals de Oekraïense minister van Defensie .

Zoals ook in de eerdere nieuwsbrief aangegeven zie je ook dat er steeds meer zogenaamde (breaking news) uitzendingen in omloop worden gebracht door statelijke actoren alsook China . Maar ook anderen produceren steeds vaker ‘nieuws’ clips met deepfake kopieen van bekende presentatoren van bijvoorbeeld CNN, BBC, CBS die nepnieuws delen of producten aanprijzen. Kanalen die deze nep-clips verspreiden op bijvoorbeeld Tiktok krijgen meer likes dan de oorspronkelijke uitzendingen, waarmee het een interessant verdienmodel is geworden. Voor zover ik weet worden in Nederland nepnieuws uitzendingen alleen nog gemaakt om malafide apps of crypto aan te prijzen, dus om geld te verdienen.

Dit rapport geeft een aantal evidence based tips voor de aanpak van desinformatie door overheden, platforms en anderen.

Detectie werkt niet, grootste dreiging is het afwijzen van waarheid als fake

Er is nog steeds geen zicht op goed werkende detectietools, ook van detectietools voor LLM’s is nu bekend dat ze bias bevatten en makkelijk voor de gek te houden zijn. Experts op het gebied van audio geven hetzelfde aan, detectietools houden de ontwikkelingen niet bij, om meer zekerheid te krijgen zul je echt onderzoek moeten doen in de context. Kijk vooral deze goede TEDtalk over deepfakes en uitdagingen bij detectie , of lees het artikel in de Economist met de laatste wetenschappelijke inzichten, gedeeld tijdens de NeurIPS conferentie, over wat de problemen met detectie en ook de watermerken zijn .

Deepfakes (generatieve AI), blijken een grote rol te spelen bij het zaaien van twijfel over authentiek materiaal. Een effect dat versterkt wordt doordat mensen vertrouwen op online deepfake detectietools, zonder te beseffen hoe slecht deze werken , dus hoeveel fakes ze niet herkennen en hoeveel betrouwbare informatie ten onrechte wordt afgedaan als fake. Daarom bij herhaling mijn oproep, gebruik geen detectietools maar laat bij twijfel onderzoek doen door specialisten (in context, digitaal-technisch, humint, osint)! Deze youtube video geeft praktische tips voor thuis als je de informatie over detectietools negeert : AI-Generated Fakes: How to spot them, how they're made and how they have been used to mislead

Divers

Je zou het bijna vergeten met al mijn donkere nieuwtjes, AI kan ook veel moois brengen. Oa. Marco Derksen is bezig een lijst van AI4Good op te stellen. Tips kun je aan hem doorgeven.
Het European Union Agency for Cybersecurity (ENISA) heeft een rapport uitgebracht over de dreigingslandschap in 2023. Hierbij wordt ook ingegaan op AI; "Innovations in social engineering are mainly driven by artificial intelligence,...... We observed three novel areas: the use of AI for crafting more convincing phishing emails and messages that closely mimic legitimate sources, deepfakes used mainly for voice cloning and AI driven data mining."
Met traditionele deepfake technologie was het nog lastig om het handschrift van iemand goed na te bootsen. Een ander AI model leidt tot veel betere resultaten .
De grotere bedrijven die generatieve AI tools op de markt brengen, zoals OpenAI , proberen maatregelen te nemen om zichtbaar te maken voor mensen wanneer beelden met hun tools gemaakt zijn. Google en Facebook en het Content Authenticity Initiative werken hier ook aan. Hopelijk start de Nederlandse overheid ook snel met provenance oplossingen voor het waarmerken van haar eigen informatie. Het biedt burgers meer zekerheid.
Hoe zit het met onze hersenen, waarom trappen we in scams? De bedenkers van de gorillatest (waarbij mensen zo druk zijn met het tellen van hoe vaak een bal gegooid wordt, dat ze de gorilla missen die door het beeld loopt) schreven er een boek over. In dit interview delen ze wat inzichten .
Social Media Account Takeover Prevention Guide
En helaas, weer nieuwe voorbeelden van deepfake klonen van slachtoffers die hun verhaal vertellen, vaak zonder dat familie toestemming heeft gegeven
In plaats van het maken van naaktbeelden is er nu ook de trend " dignifAI" op 4Chan , waarbij vrouwen juist worden aangekleed. Wellicht minder impact dan uitkleden, maar het door henzelf beschreven doel hierbij zegt genoeg; "The goal is to commit unrelenting psychological warfare"
Channel 1 heeft digital humans die 24/7 presenteren tot de kern van haar nieuwsvoorziening gemaakt.
Nederland trekt 13,5 miljoen euro uit voor ontwikkeling van eigen AI-taalmodel onder meer NFI, SURF en TNO werken eraan.
Funfact: Na ABBA heeft ook KISS realistische avatars van zichzelf laten maken, zodat ze tot het einde van het digitale tijdperk kunnen blijven optreden.
Wat voorbeeldjes die de bias laten zien van AI modellen: https://restofworld.org/2023/ai-image-stereotypes (hoe kijkt AI naar landen/culturen) en https://www.npr.org/sections/goatsandsoda/2023/10/06/1201840678/ai-was-asked-to-create-images-of-black-african-docs-treating-white-kids-howd-it
Maar repareren blijkt niet zo makkelijk, Google probeerde haar Gemini voor bias te corrigeren, alleen bleken toen bijna alle resultaten opeens niet-blank te zijn, ook als het om historische gebeurtenissen ging waar vooral blanke mannen bij betrokken waren

Toegift; waarom is copyright belangrijk?

Lang bleef OpenAI volhouden dat er geen inbreuk op copyright werd gemaakt, nu blijkt dat 60% van de antwoorden van CHatGPT plagiaat bevat.. ChatGPT geeft nauwelijks aangepaste artikelen uit de New York Time s terug in haar antwoorden, terwijl Dall-E bij het verzoek “videogame italian” Mario Bross plaatjes als resultaat geeft. En hoe kun je er je persoonlijke South Parc afleveringen mee genereren als het daar niet op getraind is? Niet voor niets is de New York Times een rechtszaak gestart. Inmiddels hebben onderzoekers aangetoond
Sommige mensen snappen niet waar mensen zich druk om maken en vergelijken het met Google Search, maar het grote verschil is dat je daar een link krijgt naar een site en daarmee wordt ondersteund in onderzoek naar (de authenticiteit van) de bron. Het eventuele copyright probleem ligt dan bij die website, die daarvoor eventueel vervolgd kan worden door de eigenaar. Generatieve AI produkten, zoals van OpenAI schotelen je een tekst/plaatje voor zonder bronvermelding en met de aanname dat je een origineel product krijgt waar je eigenaar van word en dat je vrij kan gebruiken. Bij Mario Bros zou je dit nog kunnen raden omdat het een redelijk bekend spel is, maar bij kopieën uit kranten, boeken of films, cartoons en games uit andere culturen wordt dat heel ingewikkeld.
Nu dat de bewijzen volop naar buiten komen is de reactie van bedrijven als OpenAI om te lobbyen, op basis van het argument dat “it would impossible to train today’s leading AI models without using copyrighted materials. Limitin training to… would not provide AI systems that meet the needs of today’s citizens”.

Heel veel websites worden bijgehouden door vrijwilligers, maar ze kosten ook geld want de systemen moeten wel ergens gehost en onderhouden worden. Neem Wikipedia als voorbeeld. Via Google kom je op Wikipedia zelf uit. Google wint want traffic loopt via hen, Wikipedia wint, want gebruikers komen op hun site terecht en kunnen dan overwegen financieel bij te dragen (gelukkig doen mensen dat. Andere sites verdienen aan de advertenties die ze tonen) en de gebruiker wint omdat ze getoetste, kwalitatief goede informatie krijgen.

OpenAI kopieert alle content en verkoopt dit aan de gebruikers. Op korte termijn betekent dit dat OpenAI wint, Wikipedia verliest (niemand komt meer naar hun site), en de gebruiker verliest een heel klein beetje, omdat een taalmodel altijd wat ongecontroleerde aanpassingen doet.

Op lange termijn verliezen we echter allemaal, Wikipedia en andere websites krijgen geen bezoekers meer, waardoor ze geen inkomsten uit donaties of advertenties meer hebben. Ze gaan daardoor ten onder en daarmee verliest het internet nog meer betrouwbare content (en worden taalmodellen alleen maar slechter…)

Update ontwikkelingen deepfake juni 2023

Mon, 26 Jun 2023 11:56:56 GMT

Het is even geleden dat een update geplaatst werd, schandalig want de ontwikkelingen buitelden over elkaar heen afgelopen jaar. Werd vorig jaar nog vooral gesproken over deepfakes (beeld/geluid) en synthetische media, sinds dit jaar zien we overal de term generative AI en tools voor het genereren van tekst, zoals ChatGPT.
Hoewel er bijna dagelijks nieuwe mogelijkheden verschijnen, blijft de grote lijn hetzelfde. (1) Iedereen kan straks alles wat digitaal (te maken) is klonen, manipuleren en/of genereren en (2) al rond 2025 is naar verwachting 90% van alle digitale content synthetisch, dus met AI gemanipuleerd of gegenereerd. Dit zal een enorme impact hebben. We kunnen niet meer vertrouwen op onze eigen waarneming. Hoe weet je in welke mate je gemanipuleerd wordt, hoe behoud je vertrouwen? Hierover ging de eerste, door politie geïnitieerde, rijksbrede werkconferentie “impact van synthetische media & deepfakes”. Op iBestuur is recent een blog geplaatst met belangrijkste stappen die we kunnen zetten.
In deze nieuwsbrief heb ik de nieuwtjes gegroepeerd in beeld, geluid (stemklonen!) en tekst. Door deze te combineren kun je er volledig autonome digitale personages (avatars) mee creëren en voor je laten werken. Ter afsluiting ook nog iets over detectietools.

Beeld

Er is een duidelijke toename van beeldmateriaal van kindermisbruik gecreëerd met AI tools .
Op TikTok worden in true crime stories, steeds vaker deepfakes van slachtoffers , vooral kinderen, gebruikt, wat enorme impact op betrokkenen kan hebben.
Het genereren van afbeeldingen ter ondersteuning van je verhaal kan ook ten koste gaan van je geloofwaardigheid zoals Amnesty mocht ervaren. Het vooraf transparant aangeven dat en waarom je ervoor kiest (zoals beschermen betrokkenen) helpt. Een overzicht van overwegingen bij de inzet van deepfakes vind je hier .
Een gegenereerde foto van een explosie bij het Pentagon getwitterd door een schijnbaar betrouwbaar account van Bloomberg zorgde voor een dip in de beurzen.
• De schroom om deepfake beelden te gebruiken voor politieke doeleinden verdwijnt steeds verder. De Republikeinse presidentskandidaat DeSantis heeft er geen enkele moeite mee om deepfake beelden van zijn rivaal Trump te verspreiden (die er zelf ook gretig gebruik van maakt).
Steeds vaker worden video’s met niet bestaande personen (avatars) ingezet voor het verspreiden van desinformatie, ook door overheden, bijvoorbeeld in Burkina Fasou en Venezuela .
Mooie voorbeelden van de laatste mogelijkheden van beeldbewerking zijn DragGan en de opties die Adobe nu biedt.

Audio

Er komen steeds meer toepassingen waarbij je jouw stemkloon kunt inzetten, Microsoft heeft aangetoond dat 3 seconden geluid voldoende is. In dit artikel worden 11 tools beschreven. Gek genoeg staat Elevenlabs hier niet bij, terwijl zij juist zoveel misbruikt werden, bijvoorbeeld om de stem van Emma Watson uit Mein Kampf te laten voorlezen.
Denk dus na voor je iets op TikTok plaatst, een fragment van je stem is voldoende om te klonen. Hier een voorbeeld van hoe je er persoonlijke gegevens mee kunt ontfutselen.

We zien dit ook steeds meer terugkomen bij verschillende vormen van CEO en Vriend-in-Nood-Fraude toegepast worden. Er kan ook emotie aan de stemkloon meegegeven worden, zo werd deze moeder overtuigd dat haar dochter ontvoerd was. Het wordt extra effectief met een combinatie van gezicht en stem…
In deze post heb ik wat tips opgenomen waarmee je kunt voorkomen erin te trappen.
Steeds meer organisaties zijn overgestapt op biometrische authenticatie, en zij lopen er nu tegenaan dat dit hun systeem verzwakt. Al veel langer is het mogelijk om met het gezicht van iemand anders een bankrekening te openen. Banken, maar ook andere organisaties zoals de belastingdienst in Australië , gebruiken ook de stem als biometrische controle voordat ze iemand toegang geven. Vice laat zien dat deze systemen niet bestand zijn tegen stemklonen.
Swatting as a service , een dienst die opnames met nepstemmen aanbiedt die je kunt inzetten om de politie ergens een inval te laten doen. $50 om je school een dagje plat te leggen, en voor $75, laat je ze iemands huis binnenvallen en doorzoeken… Zeer zorgelijk gezien de politiecapaciteit die hiermee verspild wordt en de emotionele impact op betrokkenen.
Samsung kondigde recent de mogelijkheid aan om via tekst-to-speech je stemkloon een gesprek in stilte te laten voeren als je ergens bent waar je niet kunt praten. Koppel het aan toepassingen als ChatGPT en je hoeft helemaal het gesprek niet meer te voeren��

Tekstsynthese (Large Language Models, ChatGPT)

Tekstmodellen kunnen op veel manieren ondersteunen en brengen eindeloos veel nieuwe mogelijkheden voor mensen die ergens leek in zijn of minder taalvaardig. Neem dit voorbeeld voor het ontwerpen van een tomatenpluk-machine , of hoe ChatGPT je kan helpen in een live sollicitatie gesprek . Als je echt een goed beeld wilt krijgen van de betekenis (het grotere plaatje), dan raad ik de podcast The AI Dilemma aan, beste dat ik afgelopen tijd hoorde!
Het gaat vaak mis met ChatGPT en vergelijkbare tools. Mensen willen het gebruiken als zoekmachine, maar het is ontwikkeld om voor jou teksten te genereren, dus als jij bronnen wilt hebben, dan krijg je die, maar die hoeven niet echt te bestaan zoals deze advocaat merkte toen hij jurisprudentie zocht. Mensen kunnen er ook echt door beschadigd worden. Zoals een burgemeester ervaarde, die volgens ChatGPT in de gevangenis had gezeten, of de man die geld verduisterd zou hebben en de professor zogenaamd betrokken bij sexueel misbruik . Als mensen naar je gaan zoeken via ChatGPT, kunnen de gekste dingen opkomen. Spannend wordt of het lukt om OpenAI, het bedrijf achter ChatGPT aan te klagen…
Voor wie het toch wil gebruiken vast een tip, hoe overtuigender het antwoord van AI, hoe groter de kans dat het niet klopt !
Door het combineren van de mogelijkheden van deepfake audio en video met ChatGPT die de gesprekken genereert, kun je (semi) autonome personages (avatars/digital humans) creëren die aan de hand van een aantal mee gegeven intenties zelf gesprekken en relaties aangaan en aan hun handelen invulling geven.

Zo kun je een kloon van je zelf tegen vergoeding beschikbaar stellen, bijvoorbeeld als virtuele vriendin . In de praktijk blijkt het echter lastig af te bakenen hoe ver jouw kloon mag gaan…
In dit artikel meer commerciële toepassingen (denk aan dienstverlening, trainingen) en diverse dreigingen.
Ook kun je (meerdere) avatars autonoom aan het werk zetten in de metaverse. Dit werk kan echter ook inhouden het verspreiden van gedachtengoed en ronselen van mensen…
Hier een voorbeeld van de eerste experimenten met volledig autonome “mensen” in een “metaverse” die zelf op basis van intentie hun activiteiten en doelen van de dag bepalen en op basis daarvan onderling interacteren.

Er is een aparte nieuwsbrief over de Metaverse, laat het me weten als je die wilt ontvangen!

AI-detectietools

Met de opkomst van AI groeit ook de vraag naar AI-detectietools, ik heb bewust geen overzicht opgenomen, want ze vormen ook een risico als we erop gaan vertrouwen (en weet je wie achter de tools zitten, dus met wie je tekst/beeld deelt?).
Van deepfake-detectietools is bekend dat ze niet goed werken. Ze detecteren maar een deel van de fakes en ze merken soms ook betrouwbare content aan als fake. Ook laat recent onderzoek naar detectietools voor door studenten met AI-gegenereerde tekst zien dat deze een bias kennen naar non-native Engelssprekenden. Hun werk wordt veel vaker als AI-generated (“fake”) aangemerkt dan dat van native sprekers.
Als in 2027 90% van de content met AI gegenereerd of gemanipuleerd is, vraag ik me ook af wat de meerwaarde is van het weten dat AI gebruikt is? Het gaat uiteindelijk om wat je met de informatie wilt doen, dat bepaalt de relevantie van de manipulaties… Onderzoek daarom zelf in welke context de informatie gegenereerd is en toets dat aan de context waarin jij het wilt toepassen.
Wat gaat helpen zijn de initiatieven op het gebied van provenance, internationaal zijn grote consortia van camerabedrijven, nieuwsmedia (oa BBC), Google, Microsoft, Adobe, Truepic en vele anderen hiermee bezig. Ook op de rijksbrede werkconferentie werd dit als een belangrijke oplossingsrichting gezien. Wil je meer weten over provenance, bekijk dan deze toelichting .

Heb je vragen, zelf interessante links, laat het me weten via het contactformulier!

Rijksbrede werkconferentie over de impact van synthetische media

Tue, 31 Jan 2023 20:31:42 GMT

Achtergrondinformatie bij rijksbrede werkconferentie

Op 26 januari 2023 vond de eerste rijksbrede werkconferentie plaats over de impact van synthetische media & deepfakes. Naast het plenaire deel waren er kennissessies en werd aan werktafels verdiept op diverse vraagstukken. Hieronder wordt algemene documentatie gedeeld die voor en achteraf is gedeeld in de context van de werktafels. De verslagen en presentaties zijn inmiddels gedeeld op deze pagina .

Documentatie

Kennis nationaal

Rathenau (2020) – Digitale dreigingen voor de democratie
Considerati (2021) - Regulering van immersieve technologieën
WOCD (2021) - Deepfakes - De juridische uitdagingen van een synthetische samenleving , uitgevoerd door TILT in opdracht van het WODC

Kennis internationaal

UNICRI (2020) - Malicious Uses and Abuses of Artificial Intelligence
EPRS (2021) - Tackling deepfakes in European Policy
ENLETS (2021) - Synthetic Reality & deep fakes impact on police work
Europol (2022) – Facing reality? Law Enforcement And The Challenge Of Deepfake s
Mania, Karolina (December 2022). Legal Protection of Revenge and Deepfake Porn Victims in the European Union : Findings From a Comparative Legal Study. Trauma, Violence, & Abuse, 24 December, pp. 1-13

‘Democratische vrijheid van gedachtenvorming’

Ons nieuwe desinformatie beleid: Kamerbrief over rijksbrede strategie effectieve aanpak van desinformatie Kamerstuk Rijksoverheid.nl
Rapport IViR naar juridische kader desinformatie: Nieuw rapport over het juridisch kader voor de verspreiding van desinformatie - IVIR
Een veilig publiek debat , rapportage van College voor de Rechten van de Mens

Dialoog & ethiek

Overzicht van morele vragen bij de inzet van deepfakes
VU (2021) - Deepfakes and extreme beliefs door Jack Esselink
The Distinct Wrong of Deepfakes van Adriënne de Ruiter

Provenance

Metaverse

Wat is de metaverse kort artikel waarin de terugkerende kenmerken van visies op de metaverse worden toegelicht.
What is the metaverse uitgelegd in 14min door Mathew Ball
toelichting op zeer persoonlijke, privacy gevoelige gegevens die in Virtual Reality (metaverse) over je bekend worden.

Samenwerking in de keten

(2023) Hoe stoppen wet- en regelgeving de digitale opmars van deepfakes? Toelichting door Evert Stamhuis
(2020) Digital Forensics, deepfakes and the legal process van Agnes Venema en Zeno Geradts
(2022) The deepfake problem: Developing a novel maturity model for forensic image authentication research

Van Content naar Context

(2022) Digital history and born-digital archives: the importance of forensic methods
Meer over trust ankers in deze blogs (klik door op naam voor meer artikelen)
Koninklijke Bibliotheek: context meenemen bij digital-native collecties .

Presentatie over LLM's bij SensemakersAMS

Morele vragen bij de inzet van deepfakes

Wed, 11 Jan 2023 21:10:43 GMT

De grootste maatschappelijke impact van deepfakes (en eigenlijk de synthetisering van media in het algemeen) is dat als steeds meer nep wordt, het vertrouwen in informatie en daarmee in potentie in de rechtstaat wordt ondermijnd. Zoals experts aangeven :

" deepfakes generate and justify false beliefs” &

“may prevent people from acquiring true beliefs."

De kosten voor het verifiëren van informatie nemen toe, zowel voor organisaties als individuen.

Door deze ondermijnende impact op het vertrouwen in de informatie(voorziening) is, ook als iets kan en mag, de belangrijkste vraag: “wat vinden we wel en ni et moreel aanvaardbaar als het gaat om de inzet van deepfake technologie”?

Dit moet niet alleen vanuit het individuele/organisatieperspectief bekeken worden, maar ook vanuit het bredere perspectief van de samenleving. Het ‘perspectief van de samenleving’, is echter een vaag begrip, daarom ben ik online op zoek gegaan naar wat mensen bezighoudt als het gaat om inzet van deepfakes. Dus geen wetenschappelijk onderzoek, maar het biedt duidelijk haakjes voor vragen die je jezelf en anderen kunt stellen.
Het zal ook niet volledig zijn, dus laat het vooral weten als je andere, aanvullende inzichten hebt opgedaan! Onderaan deze blog vind je een optie voor contact.

Ethisch perspectief

Vanwege de maatschappelijke impact van deepfakes wordt vaak gewaarschuwd tegen het normaliseren van het gebruik, zeker als het gaat om het klonen van bestaande mensen. Regelgeving ontbreekt als het gaat om post mortem privacy, en ook is het lastig de gevolgen (op langere termijn) voor de persoon en het vertrouwen in (publieke) organisaties te overzien. Ethische kaders en een goed ontwikkeld moreel kompas zijn daarom noodzakelijk.

Bij de afweging is de specifieke context van de inzet van belang. Wat in de ene situatie wel aanvaardbaar is, hoeft dat in een andere situatie niet te zijn. Uit mijn inventarisatie blijkt ook dat je per situatie (inzet) opnieuw een afweging moet maken.

Voor deze inventarisatie heb ik onderscheid gemaakt in:

Niet bestaand persoon
Op basis van bestaand persoon die nog in leven is
Op basis van bestaand persoon die overleden is

Hieronder volgen de voorbeelden, aan het einde vat ik de overwegingen samen.

Volledig synthetische (niet bestaande) personages

Op steeds meer plekken worden synthetische personages ingezet voor klantcommunicatie en dienstverlening. Bijvoorbeeld de politie in Nieuw Zeeland heeft ermee geëxperimenteerd. De technologie is nog niet ver genoeg om realtime interactie op een goede manier in te vullen, maar het is wel een richting waarin steeds meer partijen ontwikkelen vanuit het idee beter te kunnen aansluiten bij een doelgroep qua taal en looks. Slimmere en persoonlijkere avatars als alternatief voor de chatbots.

Ook de inzet van synthetische (niet bestaande) personages kan vragen en kritiek oproepen, zo moet bijvoorbeeld bewust worden omgegaan met het gebruik van virtual humans (avatars) in het kader van diversiteit of voor het aankaarten van maatschappelijke problemen.

Dat blijkt onder meer uit de reacties op het gebruik van een getinte avatar: “Why rep a real woman of color when you can have a fake one that you can totally control everything about them?” Het stak vooral dat de avatar door een blanke man ‘bestuurd’ werd.

Ook was er veel kritiek toen virtueel model Miquela (3 miljoen volgers op Instagram) een vlog maakte over een aanranding tijdens een rideshare. Iets dat natuurlijk niet in werkelijkheid gebeurd was, maar ze wilde hiermee aandacht vragen voor een maatschappelijk probleem. De vlog was een duidelijke kopie van goed gewaardeerde vlogs van echte ervaringsdeskundigen. Het riep de vraag op of het bureau achter Miquela niet gewoon bezig was om aan klantenbinding te doen over de rug van anderen.

Bestaande nog levende personages

Digitaal is ‘eeuwig’, in hoeverre heb je als maker cq. opdrachtgever grip op waar het materiaal blijft en waar het voor ingezet gaat worden. We kunnen niet overzien wat de consequenties zijn van het afstaan van rechten op `jezelf` in digitale vorm. Toch zie je dat er steeds meer platformen komen waar jij je stem of gezicht in licentie kunt geven. Het zijn je biometrische kenmerken die gekloond worden en een eigen leven kunnen gaan leiden. Wat gebeurt er met de rechten (en jouw semi-autonome kloon) als dat platform failliet gaat, of overgenomen wordt.

Maar zoveel klonen die op verschillende plekken in verschillende contexten actief zijn, wat betekent dit voor het vertrouwen in deze personen, hun organisaties en in online informatie?

Er zijn 2 studies die expliciet kijken naar de ethische aspecten van deepfakes. De eerste is ‘ The Distinct Wrong of Deepfakes ’, belangrijkste conclusie daaruit is:

“The main argument is that deepfake technology and deepfakes are morally suspect, but not inherently morally wrong. Three factors are central to determining whether a deepfake is morally problematic: (i) whether the deepfaked person(s) would object to the way in which they are represented; (ii) whether the deepfake deceives viewers; and (iii) the intent with which the deepfake was created. The most distinctive aspect that renders deepfakes morally wrong is when they use digital data representing the image and/or voice of persons to portray them in ways in which they would be unwilling to be portrayed. Since our image and voice are closely linked to our identity, protection against the manipulation of hyper-realistic digital representations of our image and voice should be considered a fundamental moral right in the age of deepfakes.”

Het 2 ^e onderzoek betreft ‘ Deepfakes and extreme beliefs , An ethical assessment’ waarin de auteur de impact van deepfakes op moraliteit in de context van extremisme onderzoekt, aan de hand van 3 casussen. 1 van de casussen ligt 10 jaar in de toekomst, waarbij een nepbericht door de factchecking mechanismen van de overheid ten onrechte als echt wordt bestempeld (false positive). Een andere casus gaat over Extinction Rebellion België dat een politieke deepfake creëerde waarin de Belgische premier Sophie Wilmès beweerde dat de COVID-19-pandemie het gevolg was van de dreigende klimaatcrisis. De conclusie hieruit is:
“The result of the reflective equilibrium process revealed that in itself it is morally permissible for political actors to use deepfake technology to pursue political goals, but that in an ethical evaluation all pro tanto rights and obligations need to be contextually balanced. As a thinker, after all things considered in this case study, I think it is morally impermissible for XR to use a deepfake because of the non-consensual use of Wilmès’s persona and there are other viable political means to pursue their goals. Deepfake events like that happened in this case study foster the public debate about the conditions in which the use of deepfakes is morally acceptable. This debate is progressing as the 2021 Mark Rutte-deepfake in the Netherlands showed where some vindicated the use of deepfakes because the climate crisis is such an urgent problem”

Hier wordt de vergelijking gemaakt met de casus waarbij de Correspondent een deepfake van Mark Rutte een klimaat toespraak liet houden. Hier kwam veel kritiek op, onder meer omdat pas na ruim 5 minuten duidelijk wordt gemaakt dat het een deepfake betreft. Veel kijkers zijn daarvoor al afgehaakt, zonder dat ze doorhebben dat het nep is. En ook kunnen fragmenten eruit worden geknipt en in een andere context worden hergebruikt.

Andere interessante casussen zijn:

De Zuid-Koreaanse president maakte tijdens de verkiezingscampagne gebruik van een deepfake van zichzelf om een ander, nieuw publiek aan te spreken. De deepfake werd bediend door een team dat goed wist aan te sluiten bij jongeren. In de Engelstalige berichtgeving heb ik geen signaal gevonden dat er (morele) vragen werden gesteld over het feit dat zijn deepfake persoonlijkheid afweek van zijn echte persoonlijkheid. De vraag is of dit in onze cultuur ook zo gemakkelijk geaccepteerd wordt.
In 2021 werd bekend dat een Russische telecomprovider toestemming had gekregen om een deepfake van acteur Bruce Willis (op basis van zijn Die Hard films) te gebruiken voor een reclame. Deze kloon speelde mee in een commercial, waarvoor Willis zonder enige eigen inspanning een vergoeding kreeg. Meer beroemdheden maken al gebruik van deze optie om bij te verdienen (er zijn diverse platformen waar iedereen zijn/haar stem of gezicht in licentie kan geven), maar toen later bekend werd dat Willis al maanden kampte met cognitieve stoornissen , riep dat bij mij wel de vraag op in hoeverre hij daar bewust mee akkoord is gegaan. Wie profiteert van de extra inkomsten? Wanneer is er nog sprake van informed consent?

Bestaande, overleden mensen

Er was veel ophef over een documentaire waarin een deepfake versie van de stem van Anthony Bourdain is gebruikt om een door hem zelf geschreven tekst voor te lezen. Dat de ophef hierbij ontstond was verrassend, het waren zijn eigen teksten en ook worden overleden personen al heel lang gebruikt, zoals in reclames . Blijkbaar maakt het horen van iemands stemkloon meer los. Het lijkt er ook op dat met de groeiende toegankelijkheid van deepfake technologie er nu meer wordt nagedacht over de enorme impact van de mogelijkheden van synthetische media.
Bij de inzet van bijvoorbeeld Dali en Einstei n was er weinig discussie, het was voor educatieve doeleinden, en hun rechten zijn duidelijk ondergebracht. Maar in het kader van rouwverwerking ligt het al gevoeliger, niet alle nabestaanden voelen zich hier goed bij. Het wordt nog ingewikkelder als de toepassing een commerciële of politieke lading krijgt.

Internationaal wordt de term “deepfake for good” gebruikt. Met als voorbeelden de anti-steekwapen-campagne in Engeland waarin een deepfake werd gebruikt van een jongen die overleed toen hij een ruzie wilde sussen. En ook de deepfake een Australische politieman in een zelfmoord-preventie-campagne.

De Nederlandse casus van Sedar Soares zou in deze categorie kunnen vallen. Het was de eerste deepfake voor de Nederlands politie . Na de publicatie is online actief gezocht naar reacties die een morele invalshoek hadden.

De cold case casus van de politie

Op Twitter is een poll geplaatst over de inzet van deepfakes door de politie. Enkele stemmers op de poll hebben ook inhoudelijk gereageerd, onderstaand zijn de kritische tweets opgenomen die stof tot nadenken bieden bij de inzet van deepfakes. Ze zijn dus niet representatief voor de algemene reactie, die was positief!

Samengevat ging het om:

Wat als het een minder mediageniek slachtoffer betreft?
Hoe ver ga je met wat je de persoon allemaal laat doen en zeggen?
Wat doet dit met de geloofwaardigheid van politie en overheid?
We zijn streng wanneer gezichten/logo’s van onszelf gebruikt worden, hoe zorgvuldig zijn we met anderen?
Is er een goede stakeholder analyse geweest?
Wie zijn de nabestaanden die je als referent neemt. Wat betekent dit voor (spanningen /onenigheid binnen) de familie/vriendenkring. Wie borgt de rechten van degenen die afhaken? Hoe is rekening gehouden met de psychologische impact.
Het is belangrijk om altijd het logo van de politie als watermerk toe te voegen, omdat het filmpje ook zonder context verder gedeeld kan worden (wat ook gebeurde)

Nogmaals, hier zijn alleen de meer kritische vragen en opmerkingen verwerkt, dit was echter een fractie van het totaal aantal reacties waarbij het sentiment positief was. Maar juist de kritische noten bieden houvast bij het nadenken over de wenselijkheid.

Overwegingen samengevat

Op basis van de beschreven casussen kunnen de volgende factoren een rol spelen bij oordeelsvorming over de inzet van deepfakes:

Transparantie (eerlijk, open, rechtvaardig, toegevoegd authenticiteits kenmerk)
Doel waarvoor de deepfake wordt ingezet (ook in relatie tot alternatieve middelen/mogelijkheden)
Intentie achter de inzet
Maatschappelijk belang
Initiator (rol van deze organisatie in de samenleving)

Autonomie & schade betrokkenen

Heeft een overledene zeggenschap & doet het recht (is juridisch niet geregeld)
Bij overleden personen lijkt ook tijd een belangrijke factor (hoe lang geleden overleden) en een gedeelde consensus bij achterblijvers.
Bij een publiek figuur kan het zijn dat niet alleen het vertrouwen in de persoon (spreker) wordt aangetast, maar ook zijn functie (en andersom).
Bij levende personen is de vraag of echt is voldaan aan “informed consent”. Wat staat er in de kleine lettertjes, kun je overzien wat het betekent als iemand eigenaar van je gezicht wordt? Wat als het betreffende bedrijf ophoudt te bestaan?

Verder zijn er overwegingen die samenhangen met soevereiniteit, vrijheid van meningsuiting, geopolitieke -, culturele - & toekomstige context (belangen stakeholders en hoe zullen zij er in de toekomst naar kijken, zeker als iets uit verband wordt gehaald).

Lente update synthetische medie & deepfakes

Wed, 01 Jun 2022 17:15:18 GMT

De documentaire Spreek! Nu! heeft vorige week veel indruk gemaakt. Door het gebruik van een deepfake van Sedar Suares, de jongen die bijna 20 jaar geleden vermoord werd, hoopt het Cold Case team mensen echt te raken en getuigen of misschien zelfs de dader te overtuigen zich te melden. Dat het gebruik van deze technologie tevens tot meer media aandacht leidt is meegenomen. Ook aan jullie het verzoek de campagne te delen, hopelijk wordt de zaak nu eindelijk opgelost.

Hoewel heel beperkt, zie je dat er online ook vragen worden gesteld over de wenselijkheid om het gebruik van deepfakes van bestaande personen te normaliseren. Ik probeer zoveel mogelijk vragen/opmerkingen/zienswijzen te verzamelen om tot een overzicht te komen van morele en ethische kaders (vragen) die een rol kunnen spelen bij de inzet (naast natuurlijk juridisch). Al eerder deelde ik voorbeelden van deepfakes van overleden personen in een bl og . Mochten jullie ideeën hebben of mee willen denken over functionele behoeften en/of ethische kaders, benader me vooral!

Ook verdachten (en hun advocaten) hebben inmiddels meer kennis van de mogelijkheden van deepfakes. Begin deze maand was ik in de rechtbank Rotterdam bij de behandeling van het verweer van een verdachte die claimde niet zelf een bankrekening bij Bunq geopend te hebben. In deze context is het goed kennis te hebben van het onderzoek dat Sensity vorige week publiceerde. Het beschrijft de mogelijkheden om met een zogenaamde deepfake face swap voor de webcam het, volledig geautomatiseerde, biometrische online authenticatiesysteem voor de gek te houden. De mogelijkheden zijn er dus. Maar voor de mens is er nog wel een duidelijk kwaliteitsverschil in de beelden. Bunq gebruikt bovendien een combinatie van beeld en geluid, die alleen met een nog groter kwaliteitsverschil te faken is.

Hieronder nog wat opvallende nieuwtjes over de afgelopen periode:

Aansluitend op de inleiding, afgelopen week kwam naar buiten dat Marvel een contract gesloten heeft met Stan Lee Entertainment (organisatie die zijn nalatenschap beheert) “to use his name, voice, likeness, and iconic signature across a wide number of applications—including, but not limited to, films and television shows, theme parks, merchandise, and undefined “experiences.” Dit artikel benadrukt hoe triest het is dat zo’n groot comic-schrijver ook na zijn dood nog uitgebuit wordt.
Intel, Dell en Rolls-Royce hebben een tool gemaakt waarmee mensen hun stem veilig kunnen stellen, voordat ze deze verliezen aan bijvoorbeeld ALS. Al eerder deelde ik een video waarin acteur Val Kilmer via de computer met zijn gekloonde stem spreekt, hij speelt nu weer mee in het vervolg op Top Gun.
Mooie voorbeelden van het gebruik van tekstsynthese voor poëzi e en de nieuwste versie van Dall-E . Je kunt het trouwens zelf ook uitproberen, voer de gewenste tekst in en zie wat Dall-e mini ervan maakt. Of speel met Copy.ai voor het genereren van teksten.
Ook het satirische nieuwsblad De Speld gebruikte trouwens tekstsynthese (gpt3), het hielp bij het schrijven van teksten voor hun theatershow.
Natuurlijk kan in dit kader een rapportage over ethische en sociale risico’s van taalmodellen (zoals GPT3) niet ontbreken.
Met MyHeritage kun je niet alleen een gezicht in een foto laten bewegen, je kunt er nu ook een animatie mee maken waarbij je de personen in de foto een stem geeft om een verhaal te vertellen.
Mensen van wie de stem niet overeenkomt met hun uiterlijk, zoals de transgender in dit artikel, kunnen nu een deepfake stem gebruiken in online games , om te voorkomen dat ze hiermee gepest worden.
Er nieuw onderzoek tav deepfake detecti e verschenen, waarbij ze kijken naar gezichtsuitdrukkingen voor het detecteren van deepfakes. Dit zou in de bekende testsets leiden tot een score van 99%. Een mooie nieuwe invalshoek, maar goed te bedenken dat dit in een labomgeving is en dat bijvoorbeeld in sommige videoconferencing tools gezichten aan de ontvangende kant met deepfake technologie opnieuw worden gegenereerd om bandbreedte te besparen. De detector zou daarbij ten onrechte aangeven dat je met een fake-iemand in gesprek bent.

Update winter2022 synthetische media

Fri, 01 Apr 2022 16:04:06 GMT

Hieronder weer een overzicht van nieuws en ontwikkelingen gerelateerd aan synthetische media. Vanwege het vertekende beeld dat de term ‘deepfakes’ geeft, zal ik het alleen nog maar hebben over synthetische versies van een stem, gezicht etc.
Mede door de oorlog in Oekraïne en de desinformatie die verspreid wordt met synthetische versies van Zelensky en Poetin had het onderwerp de afgelopen periode weer de volle aandacht.

Zorgelijk was het nieuws dat onderzoek uitwijst dat mensen niet alleen moeite hebben met onderscheid maken tussen echte en synthetische gezichten, maar ook nog eens de synthetische gezichten betrouwbaarder vinden. Geen wonder dat deze met AI gegenereerde foto’s veelvuldig gebruikt worden op LinkedIn. We kenden het gebruik al op Twitter in diverse desinformatie campagnes , maar op LinkedIn lijken (naast spionage of social engineering voor cybercrime) de nepprofielen ook volop ingezet te worden voor het genereren van nieuwe business .

De gebruikte profielfoto’s worden (gelukkig) nog steeds vooral via de site thispersondoesnotexist.com gegenereerd. Deze maakt gebruik van verouderde technologie uit 2019, waardoor ze door detectietools herkend worden.

Divers

Tijdens de verkiezingscampagne maakte de Zuid Koreaanse presidentskandidaat Yoon Suk-yeol gebruik van een synthetische versie van zichzelf , waarmee hij succesvol een nieuw publiek wist aan te spreken. Meer dan 3.000 ingesproken zinnen en 20 uur audio en video werden gebruikt om de avatar te creëren. Zijn campagneteam bepaalde wat de avatar zei, daarmee goed aansluitend op de kiezers die ze wilden aantrekken, en die het blijkbaar niet erg vonden een hele andere persoonlijkheid voorgeschoteld te krijgen. Hij won de verkiezingen nipt, misschien gaf het de doorslag?
De BBC Academie organiseerde eind maart de online conferentie " Trust In News " over onder andere desinformatie en deepfakes. Hierbij wordt ook ingegaan op de beperkingen van detectie technologie .
In de laatste Iphone versies worden je foto’s zodanig gemanipuleerd door AI , dat mensen de camera liever niet gebruiken.
Intel, Dell en Rolls-Royce hebben een tool gemaakt waarmee mensen hun stem veilig kunnen stellen, voordat ze deze verliezen aan bijvoorbeeld ALS.
Het Stimuleringsfonds Creatieve Industrie heeft Yori Ettema en Parnassia Groep de gelegenheid geboden DeepMemory verder te verkennen. In deze tweede fase gaan het team een haalbaarheidsstudie doen. Het vermoeden is dat angstige mensen via het zien van een deepfake hun angsten kunnen verminderen.
Tijdens de conferentie in Dubai zat ik samen met een politieman uit Nieuw Zeeland in een panel. Hij vertelde me later over hun ervaringen met Ella, Nieuw Zeelands eerste synthetische politieagent e . Het blijkt dat de chatbot technologie en spraakherkenning/synthese nog onvoldoende zijn voor spontane realtime interacties. Het werkt vooral goed in zeer gecontroleerde omstandigheden, waarbij thema's en antwoorden goed afgebakend zijn. Fijn om zo van anderen te kunnen leren!
Desinformatie nieuws:
Deze handreiking van BZK geeft ambtenaren en bestuurders juridische en praktische tips om de impact van desinformatie te verminderen en geeft aan wat organisaties kunnen doen als ze ermee te maken krijgen.
Er is onderzoe k gedaan naar multiplatform aanpak bij informatieoperaties: pogingen om het informatie-ecosysteem te verstoren door middel van methoden zoals de verspreiding van desinformatie:
Theoretically, based upon the empirical findings presented, I reconceptualize information operations as not solely the product of inauthentic coordinated behavior (orchestrated bots and trolls) but as also involving authentic (as in real, sincerely participating) actors that loosely collaborate in the production, synthesis, and mobilization of disruptive narratives that serve the strategic goals of the information operation. Methodologically, I contribute to a growing body of work in the area of disinformation and online activism that utilizes a mixed-method approach to research. And, based on my examination of a multi-platform information operation, I end with implications for social media platform policy.
Een analyse van de rol van tiktok in de online oorlog tussen Oekraine & Rusland.

Deel vooral voorbeelden die je zelf tegenkomt, ideeën of ervaringen. Wil je tussendoor op de hoogte blijven, volg me dan op Twitter; @Digitalks_eu

September update synthetische media

Sat, 09 Oct 2021 18:09:26 GMT

Er is weer een hoop gebeurd deze maand, het meest opvallend vond ik hoe `normaal` het klonen van jezelf om bij te verdienen wordt. Lees hier over studente Liri die een bijbaan in de horeca heeft, maar daarnaast ook nog in diverse landen bijverdient met onder andere reclames, interviews en instructievideo´s. Dit kan doordat ze de rechten op haar gezicht heeft afgestaan aan het bedrijf Hour One, die meerdere klonen in portefeuille heeft.

Het roept bij mij vragen op over wenselijkheid, de kleine lettertjes, maar ook over wat er met jouw kloon gebeurt als een dergelijk bedrijf failliet gaat… Gecombineerd met tekstsynthese worden klonen steeds autonomer en je hebt geen idee wat de digitale versie van jou zegt en doet.

Ethische aspecten bij deepfakes van overledenen

De afgelopen maand was er veel ophef over een documentaire waarin een deepfake versie van de stem van Anthony Bourdain is gebruikt om door hem zelf geschreven teksten voor te lezen. Dat de ophef hierbij ontstond was verrassend, het waren zijn eigen teksten en ook worden overleden personen al heel lang gebruikt, zelfs in reclames . Blijkbaar maakt het horen van iemands stemkloon meer los, wellicht dringt hiermee pas de enorme impact door van de mogelijkheden van synthetische media.

Het is goed dat het gesprek gevoerd wordt over de ethische dilemma’s en nodige regelgeving rondom het gebruik van overleden personen. Bij de inzet van bijvoorbeeld Dali en Einstein was er weinig discussie, het was voor educatieve doeleinden. Maar in het kader van rouwverwerking ligt het al gevoeliger, niet alle nabestaanden voelen zich hier goed bij. Het wordt nog ingewikkelder als de toepassing een commerciële of haast politieke lading krijgt, zoals de inzet van de Spaanse zangeres Lola Flores in een reclame voor bier of het gebruik van deepfakes van slachtoffers van de explosie in Libanon om gerechtigheid te vragen. Ook in Nederland ontbreekt afdoende wet- en regelgeving en is het nodig dat we het gesprek aangaan. Niet alleen in de context van post mortem privacy, ook om mensen te beschermen. We kunnen gewoon niet overzien wat de consequenties zijn van het afstaan van rechten op `jezelf` in digitale vorm.

Steeds meer Deepfakes-as-a-Service

Volgens Recorded Future zie je nu ook steeds meer maatwerk en handleidingen specifiek gericht op enerzijds het omzeilen van security systemen en anderzijds het automatiseren van phishing pogingen via email of op communicatieplatformen zoals Slack and Microsoft Teams. Cybercriminelen profiteren van de thuiswerktrend om medewerkers te manipuleren met goed getimede voicemailberichten van hun baas/collega, of een slack-bericht met dezelfde boodschap. Omgevingen die gebruikers impliciet vertrouwen omdat het een alternatieve werkomgeving is. In het overzichtsartikel wordt ook verwezen naar de kwetsbaarheid van biometrische verificatiesystemen.

Is AI een zelfstandige entiteit?

AI kan prachtige kunst maken en ook uitvindingen doen. Zou AI daarmee ook een patent kunnen aanvragen? Zowel in Zuid Afrika als in Australië is nu een patent toegekend aan een AI. Een woordvoerder van het Europese patent bureau heeft aangegeven aan dat hier nog steeds geldt dat AI vooral een instrument is, in gebruik bij de mens. Ook in de VS kunnen nog steeds alleen mensen een patent aanvragen.

Divers

Goed nieuws op het gebied van het waarmerken van foto’s op websites. Truepic, onderdeel van de Coalition for Content Provenance and Authenticity ( C2PA ), lanceert een software development kit (SDK) om de metadata van foto’s, op het moment dat deze gemaakt worden met de camera vanuit een app, te verifiëren inclusief tijdstempel en geolocatie.
Dit artikel dat ingaat op risico’s van deepfake technologie bij militaire operaties. Enerzijds kan het gebruikt worden om deepfakes te maken waarbij krijgsgevangenen dingen zeggen die het thuisfront en/of de operatie kunnen ondermijnen, anderzijds kunnen deepfakes gebruikt worden om de mentale gesteldheid van de gevangenen te beïnvloeden.
Door keelkanker verloor acteur Val Kilmer zijn stem, maar dankzij AI is hij nu weer in staat met zijn eigen stem te spreken. Luister vooral naar dit fragment over zijn creatieve ziel ie zich weer kan uiten.
Er komen steeds weer nieuwe en betere tekstsynthese modellen. Wil je het een keer ervaren, ga dan in gesprek Kanye West .
Onderzoekers zijn er in geslaagd zogenaamde “ Master Faces ” te creëren waarmee ze 40% van de gezichten konden imiteren uit de dataset van 3 bekende gezichtsherkenningssystemen (Dlib, FaceNet en SphereFace). Dit was mede mogelijk doordat deze dataset een grote bias had richting oudere, blanke mannen. Het laat weer zien hoe met deepfake technologie getraind kan worden op het misleiden van biometrische herkenningssystemen.

Toegift

In mijn masterclasses refereer ik ook naar de mogelijkheden van online microtargeting. Deepfakes kunnen als middel bijdragen aan zowel de impact als verspreiding van (des)informatie die specifiek op jou gericht is. Dit artikel van Haroon Sheikh over hoe dit ons kan beïnvloeden gaf mij weer een nieuwe invalshoek.

Heb je vragen, ideeen of tips? Laat ze hieronder achter, of als je niet kunt inloggen kun je me ook op LinkedIn bereiken of via Twitter . Om deze update maandelijks in je mail te krijgen kun je een mailtje sturen naar update [apestaartje] digitalks.eu

Zomer update Synthetische Media

Sat, 09 Oct 2021 18:09:26 GMT

Soms heb je een regenachtige dag nodig om al je bewaarde linkjes door te nemen. Er was weer genoeg nieuws afgelopen periode, zoals dit rapport over deepfakes voor het Europees Parlement. Naast een goed overzicht van ontwikkelingen (ook audio en tekst) schetst het 5 dimensies voor het aanpakken van de negatieve impact van deepfakes: 1. the technology dimension, 2. the creation dimension, 3. the circulation dimension, 4. the target dimension, and 5. the audience dimension. Er wordt ook gewezen op het belang van contextuele informatie en achtergrondkennis bij het beoordelen van de authenticiteit van informatie. Om een betrouwbaar beeld van de werkelijkheid te krijgen zullen zowel individuen als organisaties nieuwe vaardigheden en procedures moeten ontwikkelen.

Gelukkig onderkennen steeds meer organisaties dit en groeit ook het bewustzijn dat de meerwaarde van deepfake-detectie tools zeer beperkt is.

Nuttiger is deze, voor iedereen beschikbare, plugin , ontwikkeld om journalisten te helpen bij het vaststellen van de authenticiteit van content op social media.

Synthetische klonen; Digital Twins De term digital twins gaat niet alleen over steden en objecten, de term wordt ook steeds vaker gebruikt voor synthetische klonen van mensen.

In eerdere updates deelde ik al enkele platformen waarop mensen een deepfake kloon van hun stem of gezicht in licentie geven. Ook Bruce Willis heeft ontdekt dat hij op deze manier vanuit zijn luie stoel veel geld kan verdienen. Hier het eerste resultaat, zie jij dat het nep is?
Zangeres Holly+ heeft inmiddels ook een “ AI-powered deepfake digital twin ” van haar zangstem beschikbaar gesteld. Iedereen kan nu muziek maken en haar stem daarin gebruiken.
De CEO van NVIDIA ging nog een stap verder, gedurende 14 seconde van zijn presentatie op een online congres, werd hij onopgemerkt vervangen door een synthetische kloon (volledige lichaam). Als je achteraf terugkijkt zie je dat beeld en geluid niet helemaal synchroon zijn, maar dat gebeurt wel vaker tijdens online presentaties, dus als je in het verhaal zit valt dit niet op.

Bescherm je (biometrische) data

Verkopers op de Chinese zwarte markt bieden nu databases aan met foto's van gezichten van mensen inclusief wat persoonlijke informatie (bv telefoon en bankreknr.) voor 0,07dollar per stuk. Deze kunnen gebruikt worden voor identiteitsdiefstal. Voor 5 dollar extra krijg je er deepfake software bij waarmee je de foto's kunt animeren om de beveiliging van diverse apps te omzeilen. Deze apps die werken met gezichtsherkenning, vereisen dat je knippert met je ogen of knikt, zo testen ze dat je niet een foto voor de camera houdt. Voor het Westen zijn dit soort ID-diefstal pakketten nog niet aangetroffen, maar het laat wel zien wat de nadelen zijn van een toekomst waarbij je gezicht steeds vaker als wachtwoord dient.

Van afschermen biometrische informatie naar concrete misleiding Naast de toenemende mogelijkheden om iemands biometrische kenmerken te klonen, komen er ook steeds meer mogelijkheden biometrische systemen te misleiden. Vorig jaar toonde MacAfee al aan dat je een foto kunt maken die voor de mens op persoon A lijkt en voor een gezichtsherkenningssysteem op persoon B. Een Israelisch bedrijf heeft nu met een andere techniek hetzelfde bereikt. De journalist van dit artikel wordt nu herkend als Mark Zuckerberg.

Divers

Audio wordt steeds vaker ingezet ter verspreiding van desinformatie. In dit artikel een toelichting over het gebruik door Jordanië van Clubhouse fragmenten. Op dit moment betreft het nog cheapfakes (knip en plakwerk), maar diezelfde, via social media gedeelde audio van mensen kan ook gebruikt worden om de stemmen te klonen. In deze syllabus vind je trouwens een holistische benadering van desinformatie. De rol van (vooral Amerikaanse) historische ontwikkelingen, machtsverhoudingen, cultuur en ongelijkheid wordt meegenomen om het fenomeen te analyseren.
Er is een nieuwe versie aangekondigd van DeepFaceLive (bekend van gebruik voor face swapping in pornofilms). Hiermee wordt het mogelijk om ook in livestreams gezichten te vervangen door die van beroemdheden.
Bij bewegende deepfake (GAN) beelden zie je vaak dat niet alles even goed mee beweegt, een baard of oorbel wordt niet als gezicht herkend en blijft op dezelfde plek in het beeld terwijl het gezicht beweegt. Onderzoekers hebben daar nu een oplossing voor; alias-free gan .
De positieve toepassingen van synthetische media (deepfake technologie) vallen soms een beetje weg in de berichtgeving over de negatieve kant, al eerder berichtte ik over de toepassingen in de medische sector, zoals het klonen van de eigen stem voor mensen met ALS en trauma verwerking. Dit Twitter draadje deelt ook nog mogelijkheden zoals het genereren van ideeën, teksten en video’s ten behoeve van marketing, trainingen en voorlichting. Mogelijkheden die nu voor iedereen toegankelijk zijn zonder specialistische kennis, denk aan ZZPers en het MKB

De toekomst is fake

Sat, 09 Oct 2021 18:09:26 GMT

Een ALS-patiënt die via de computer, met zijn eigen stem kan spreken. Dali die in contact treedt met de bezoekers in het museum. Het doen herleven van Leia in Star Wars. De nieuwslezers die 24/7 het nieuws brengen, zonder ooit moe te worden. Allemaal mogelijk dankzij Artificiële Intelligentie (AI), en voor steeds meer mensen toegankelijk. Deze week lanceerde Unreal Engine nog MetaHuman , een tool waarmee iedereen synthetische personages kan creëren.

Deze door AI gegenereerde of gemanipuleerde media, zogeheten 'synthetische media' bieden zo waardevolle nieuwe toepassingen in de vorm van synthetische foto’s, video’s, audio en tekst.

Helaas zijn er ook steeds meer malafide toepassingen van synthetische media. Het meest bekend zijn de zogenaamde deepfakes. Hierbij gaat het om synthetische foto’s en video’s die bewust met AI gegenereerd of gemanipuleerd zijn om gebruikt te worden als middel in de context van criminaliteit of desinformatie. De achterliggende tools en technieken zijn breed toegankelijk en ook zijn er diverse aanbieders van deepfakes op maat.

Naast deepfakes, wordt ook synthetische audio voor criminele doeleinden ingezet, bijvoorbeeld bij CEO-fraude . Net als tekstsynthese, die bijvoorbeeld gebruikt wordt in chatbots gericht op het verspreiden van desinformatie, discriminerende berichtgeving en haatberichten.

De opkomst van synthetische media raakt het werk van elke informatie gestuurde organisatie. Overal waar we open bronnen of informatie van derden inzetten voor onze informatiepositie, zijn we kwetsbaar voor synthetische media. Ook de politie en strafrechtketen worden geraakt; malafide synthetische media zoals deepfakes vergroten bijvoorbeeld het risico dat het strafrecht ten onrechte jegens een persoon wordt ingezet. Want als je nog niet weet of het synthetische media betreft, wie is dan de verdachte? Waar richt je je op, degene die is afgebeeld of degene die de foto heeft gemaakt?

In het rapport 'AI-enabled future crime' uit 2020 wordt het nabootsen van mensen in beeld en geluid als grootste bedreiging gezien. In het rapport ' Malicious Uses and Abuses of Artificial Intelligence ' van Europol van eind 2020 wordt ook veel aandacht besteed aan de wijze waarop tekstsynthese social engineering en gedigitaliseerde criminaliteit faciliteert. De ondermijnende effecten van tekstsynthese voor de samenleving werden afgelopen zomer ook door Wired al benadrukt. Dit komt voort uit de ontwikkeling dat nagenoeg elke organisatie nu onderdeel en afhankelijk is van het globale informatie-ecosysteem (internet), waar niemand nog grip op heeft.

De urgentie om er een aanpak op te ontwikkelen is groot. Dit wordt onderschreven door de rapportages van het bedrijf Sensity.AI , dat de ontwikkelingen rondom deepfakes monitort. De exponentiële groei die zij signaleren in synthetisch gemanipuleerde foto’s en video’s baart zorgen en onderstreept de urgentie om malafide toepassingen tegen te gaan. Eind 2020 publiceerden ze een rapport over deepfake-bots op Telegram. Als je daar een foto van iemand mee deelt, krijg je een naaktfoto van de betreffende persoon terug. Je hoeft daarvoor zelf geen enkele technische kennis meer te hebben.

Helaas zijn er geen goede tools voor geautomatiseerde detectie van malafide synthetische media zoals deepfakes. Op langere termijn zullen deze detectietools naar verwachting ook geen uitkomst bieden. Enerzijds omdat diezelfde detectoren gebruikt worden om betere deepfakes te creëren, waardoor deepfakes naar verwachting straks zo goed zullen zijn dat detectie niet meer mogelijk is.

Anderzijds omdat met de exponentiële toename van synthetische media, detectie hiervan tot een bijna 100% hit zal leiden en het onderscheiden van malafide en niet-malafide media op deze basis ondoenlijk wordt. Met het oog op betere dienstverlening, entertainment of het aanpakken van maatschappelijke vraagstukken, wordt steeds meer content synthetisch gegenereerd. Experts verwachten dat binnen 7 jaar meer dan 90% van de online content synthetisch is.

Dat gebeurt zichtbaar zoals bij de voorbeelden in de eerste paragraaf, maar het gebeurt ook ongemerkt, achter de schermen. De doorontwikkeling van videoconferencing tools laat dit goed zien. Eerder lekte al uit dat Apple bezig was met software die een oog-correctie toepast, zodat je aan de ontvangende kant iemand ziet die je vol aandacht direct in de ogen kijkt in plaats van omlaag op het scherm. En omdat bandbreedte vaak een probleem vormt bracht NVIDIA eind vorig jaar een oplossing op de markt waarmee nog slechts een aantal punten van je gezicht over de lijn gaan, waarna je gezicht aan de ontvangende kant, op basis van een eerdere snapshot en die punten, door de computer synthetisch gegenereerd wordt.

'Fake' gezichten dus, maar niet met de intentie om criminaliteit te plegen. Het begon ooit met de automatische correctie van rode ogen, inmiddels past de software op onze telefoons en andere apparaten al veel meer automatisch aan zonder dat wij ons daar bewust van zijn. Het is immers nooit bedoeld als bewijsmateriaal. Maar als gezichten straks automatisch zo aangepast worden dat ze in de camera kijken, wat betekent dit dan voor de bewijskracht van de beelden?

Ook de synthetische, door de computer gegenereerde, realiteit is authentiek. Synthetisch gegenereerde beelden of audio kunnen dienen als bewijs of sturingsinformatie. Maar om de betrouwbaarheid en bewijskracht vast te stellen is wel extra inspanning nodig. De impact op het politiewerk is enorm, maar elke informatie verwerkende organisatie wordt erdoor geraakt. Hoe controleer en beheers je (de kwaliteit van) informatiestromen. Dit gaat niet alleen over online informatie, het raakt ook de informatie die gegenereerd wordt vanuit de sensoren die in steeds meer processen bij bedrijven en overheid een rol spelen, het zogenaamde (industriële) internet of things. Nieuwe waarborgen en procedures zijn nodig om op eenduidige wijze waarde toe te kennen aan deze informatie.

Daarbij moet in ogenschouw worden genomen dat de samenleving kritischer zal worden; informatie en bewijs kunnen steeds makkelijker afgedaan worden als deepfake. We zien het nu al gebeuren in de politiek. Maar als echt bewijs gemakkelijk kan worden afgedaan als deepfake, verdwijnt de kracht van de journalistiek, de politie en rechters; een belangrijke fundament van onze rechtsstaat.

Internationaal wordt daarom door mediabedrijven en journalistiek al gewerkt aan methoden om bij het vervaardigen van beeld en geluid reeds waarborgen voor authenticiteit toe te voegen, een soort watermerk. Een ontwikkeling die navolging verdient.

Fascinerende ontwikkelingen en nog maar een glimp van wat de toekomst gaat brengen. Momenteel zijn we aan het uitwerken hoe we hier de komende tijd invulling aan kunnen geven. Natuurlijk is de eerste prioriteit het opbouwen van kennis en het creëren van bewustwording. Maar daarnaast heb ik het idee dat we de begrippen echtheid en bewijs opnieuw context moeten geven. Eenieders input hierbij is heel welkom.