Beveiligingsexpert Bar Lanyado heeft onlangs onderzoek gedaan naar de manier waarop generatieve AI-modellen onbedoeld bijdragen aan enorme potentiële veiligheidsbedreigingen in de softwareontwikkelingswereld. Uit dergelijk onderzoek van Lanyado kwam een alarmerende trend naar voren: de AI suggereert pakketten met denkbeeldige software, en ontwikkelaars nemen deze, zonder het zelfs maar te weten, op in hun codebases.
De kwestie onthuld
Het probleem is nu dat de gegenereerde oplossing een fictieve naam was, iets typisch voor AI. Deze fictieve pakketnamen worden vervolgens echter met vertrouwen voorgesteld aan ontwikkelaars die moeite hebben met het programmeren met AI-modellen. Sommige verzonnen pakketnamen zijn zelfs gedeeltelijk gebaseerd op mensen – zoals Lanyado – en sommigen zijn doorgegaan en hebben er echte pakketten van gemaakt. Dit heeft op zijn beurt geleid tot het per ongeluk opnemen van potentieel kwaadaardige code in echte en legitieme softwareprojecten.
Een van de bedrijven die onder deze impact viel, was Alibaba, een van de belangrijkste spelers in de technologie-industrie. Lanyado ontdekte dat Alibaba in hun installatie-instructies voor GraphTranslator een pakket had bijgevoegd met de naam “huggingface-cli” dat was vervalst. In feite was er een echt pakket met dezelfde naam, gehost op de Python Package Index (PyPI), maar de gids van Alibaba verwees naar het pakket dat Lanyado had gemaakt.
Het testen van de volharding
Het onderzoek van Lanyado was gericht op het beoordelen van de levensduur en de potentiële exploitatie van deze door AI gegenereerde pakketnamen. In die zin heeft LQuery verschillende AI-modellen uitgevoerd over de programmeeruitdagingen en tussen talen in het proces om te begrijpen of deze fictieve namen effectief en op een systematische manier werden aanbevolen. Uit dit experiment blijkt duidelijk dat er een risico bestaat dat schadelijke entiteiten door AI gegenereerde pakketnamen kunnen misbruiken voor de distributie van kwaadaardige software.
Deze resultaten hebben diepgaande implicaties. Slechte actoren kunnen het blinde vertrouwen dat ontwikkelaars in de ontvangen aanbevelingen stellen, zodanig uitbuiten dat ze schadelijke pakketten onder een valse identiteit kunnen gaan publiceren. Met de AI-modellen neemt het risico toe omdat er consistente AI-aanbevelingen worden gedaan voor verzonnen pakketnamen, die door onbewuste ontwikkelaars als malware zouden worden opgenomen. **De weg vooruit**
Naarmate AI verder wordt geïntegreerd met de ontwikkeling van software, kan de noodzaak ontstaan om de kwetsbaarheden op te lossen als deze verband houden met door AI gegenereerde aanbevelingen. In dergelijke gevallen moet er zorgvuldigheid worden betracht, zodat de softwarepakketten die voor integratie worden voorgesteld legitiem zijn. Bovendien moet het platform waarop de softwareopslagplaats wordt gehost, kunnen worden geverifieerd en moet het sterk genoeg zijn om te voorkomen dat er code van kwaadaardige kwaliteit wordt verspreid.
Het kruispunt van kunstmatige intelligentie en softwareontwikkeling heeft een zorgwekkende veiligheidsdreiging aan het licht gebracht. Ook kan het AI-model leiden tot het per ongeluk aanbevelen van valse softwarepakketten, wat een groot risico vormt voor de integriteit van softwareprojecten. Het feit dat Alibaba in zijn instructies een doos opnam die er nooit had mogen zijn, is slechts een bewijs van hoe de mogelijkheden daadwerkelijk zouden kunnen ontstaan als mensen op robotachtige wijze aanbevelingen zouden opvolgen.
gegeven door AI. In de toekomst zal waakzaamheid moeten worden betracht bij proactieve maatregelen, zodat misbruik van AI voor softwareontwikkeling wordt voorkomen.
Bron: https://www.cryptopolitan.com/ai-generated-software-packages-threats/