Een alarmerende deepfake-audio waarin de Amerikaanse president Joe Biden mensen aanspoort om niet te stemmen tijdens de voorverkiezingen in New Hampshire heeft geleid tot een snelle reactie van zowel de particuliere sector als wetshandhavingsinstanties. De maker van deze gedurfde deepfake is geschorst door ElevenLabs, een startup gespecialiseerd in kunstmatige intelligentie (AI)-software voor stemreplicatie. Dit incident heeft aanleiding gegeven tot ernstige zorgen over het mogelijke misbruik van AI-gestuurde deepfake-technologie om verkiezingen te verstoren en de opkomst van kiezers te onderdrukken.
ElevenLabs, de technologieleverancier achter de creatie van de deepfake-audio, heeft onmiddellijk actie ondernomen door de gebruiker die verantwoordelijk is voor het genereren van de kwaadaardige inhoud te schorsen. Pindrop Security Inc., een bedrijf voor spraakfraudedetectie, bevestigde dat de technologie van ElevenLabs werd gebruikt om de deepfake te produceren.
Toen ElevenLabs hoorde van de bevindingen van Pindrop, startte een intern onderzoek naar het incident. De startup, die onlangs een indrukwekkende $80 miljoen aan financiering binnenhaalde van investeerders, waaronder Andreessen Horowitz en Sequoia Capital, wordt nu geconfronteerd met vragen over het mogelijke misbruik van zijn AI-gestuurde stemkloneringstechnologie.
Alarmerende gevolgen voor de verkiezingsveiligheid
De deepfake robocall met president Biden heeft tot grote zorgen geleid onder desinformatie-experts en verkiezingsfunctionarissen. Dit incident onderstreept niet alleen het relatieve gemak waarmee audio-deepfakes kunnen worden gecreëerd, maar benadrukt ook het potentieel voor slechte actoren om deze technologie te gebruiken om kiezers ervan te weerhouden deel te nemen aan verkiezingen.
Het kantoor van de procureur-generaal van New Hampshire is een officieel onderzoek gestart naar het deepfake-incident, omdat het een onwettige poging is om de voorverkiezingen voor de president te verstoren en de kiezers in New Hampshire te onderdrukken. Deze ontwikkeling onderstreept de ernst waarmee autoriteiten het potentiële misbruik van deepfake-technologie in de politieke arena behandelen.
Detectie-uitdagingen
Pogingen om de technologie achter de deepfake te identificeren zijn op uitdagingen gestuit. Terwijl de eigen 'spraakclassificator'-tool van ElevenLabs een lage waarschijnlijkheid van synthetische audio aangaf (2%), bevestigden andere deepfake-detectietools dat de audio deepfake was, maar konden ze niet precies vaststellen welke technologie er precies werd gebruikt.
Pindrop Security Inc. heeft diep in de audio gedoken, deze opgeschoond door achtergrondgeluiden en stiltes te verwijderen en deze in segmenten op te delen voor analyse. Hun onderzoek vergeleek de audio met een database met voorbeelden verzameld uit meer dan 100 tekst-naar-spraaksystemen die vaak worden gebruikt voor deepfake-productie. Hun conclusie suggereert sterk dat de deepfake is gemaakt met behulp van de technologie van ElevenLabs.
Siwei Lyu, een professor aan de Universiteit van Buffalo, gespecialiseerd in deepfakes en forensisch onderzoek naar digitale media, voerde ook een analyse uit. Hij liet de deepfake door de classifier van ElevenLabs lopen en concludeerde dat de software waarschijnlijk werd gebruikt, waarbij hij het wijdverbreide gebruik van de tool in het veld benadrukte.
Zorgen voor de toekomst
Deskundigen waarschuwen dat dit soort incidenten waarschijnlijk zullen toenemen naarmate de algemene verkiezingen dichterbij komen. Het vermogen om deepfake-technologie te gebruiken om zeer gepersonaliseerde en misleidende inhoud te creëren, is een groeiend probleem voor de veiligheid van verkiezingen.
Hoewel ElevenLabs er prat op gaat dat het merendeel van de gebruiksscenario's positief is, met een team dat zich toelegt op contentmoderatie, benadrukt dit incident het potentieel voor misbruik dat platforms als ElevenLabs moeten aanpakken. Het blijft een grote uitdaging om ervoor te zorgen dat AI-gestuurde tools niet voor kwaadaardige doeleinden worden gebruikt.
De snelle reactie van ElevenLabs door de maker te schorsen en een intern onderzoek te starten, onderstreept de ernst van de situatie. Naarmate de autoriteiten dieper ingaan op het incident, wordt het duidelijk dat het misbruik van AI-gestuurde deepfake-technologie op politiek gebied een dringende zorg is, met het potentieel om de integriteit van verkiezingen te ondermijnen. Het onderzoek zal ongetwijfeld meer licht werpen op de oorsprong en gevolgen van deze alarmerende episode, en tegelijkertijd aanleiding geven tot een bredere discussie over het verantwoorde gebruik van deepfake-technologie in het digitale tijdperk.
Bron: https://www.cryptopolitan.com/deepfake-of-president-biden/