AI-ethiek en het dreigende debacle wanneer de wet van New York die audits vereist voor AI-biases in versnelling komt

Soms worden de beste bedoelingen jammerlijk verstoord door een ernstig gebrek aan aandacht voor detail.

Een goed voorbeeld van deze wijze wijsheid is het onderzoeken waard.

Laten we in het bijzonder eens kijken naar een nieuwe wet in New York City met betrekking tot kunstmatige intelligentie (AI) die op 1 januari 2023 van kracht wordt. Je zou gemakkelijk een grote weddenschap kunnen winnen dat er allerlei verwarring, consternatie en problemen zullen ontstaan zodra de wet in werking treedt. Hoewel de problemen niet met opzet zijn, zullen ze ongetwijfeld optreden als gevolg van een slecht ontwerp of op zijn minst een onvoldoende bepaling van noodzakelijke details die gemakkelijk hadden moeten en kunnen worden bedacht en expliciet vermeld.

Ik verwijs naar een lokale wet die vorig jaar op 11 december 2021 in de gerespecteerde stad New York is aangenomen en die naar verwachting begin 2023 in werking zal treden. We zijn momenteel slechts een paar maanden verwijderd van het grote ontwaken dat deze nieuwe wet gaat opschudding brengen. Ik zou willen dat ik kon zeggen dat de ambitieuze wet naadloos gaat doen wat hij moet doen, namelijk omgaan met mogelijke AI-vooroordelen op het gebied van het nemen van beslissingen over werkgelegenheid. Helaas, hoewel de bedoeling prijzenswaardig is, zal ik je door de gapende mazen, weglatingen en gebrek aan specificiteit leiden die deze wet zullen ondermijnen en werkgevers gek zullen maken terwijl ze proberen om te gaan met de onbedoelde maar behoorlijk nadelige gevolgen ervan.

Je zou kunnen zeggen dat dit de klassieke kwestie is van doorgaan met een halfbakken plan. Een gerespecteerde stelregel die aan Dwight Eisenhower werd toegeschreven, was dat een plan niets is, terwijl planning alles is. Kortom, deze specifieke wet zal een levendig voorbeeld geven van hoe wetgevers soms tekort kunnen schieten door niet goed na te denken vooraf de noodzakelijke bijzonderheden zodat de wet zijn prijzenswaardige doelen bereikt en op zeker redelijke en voorzichtige manieren kan worden aangenomen.

Er wacht een debacle.

Excuses worden al op een rij gezet.

Sommige experts hebben gezegd dat je een wet nooit volledig kunt specificeren en hem in actie moet zien om te weten welke aspecten van de wet moeten worden aangepast (een algemene waarheid die in dit geval buiten proportie wordt verdraaid). Bovendien beweren ze fel dat dit met name het geval is als het gaat om de opkomende nieuwheid van AI-gerelateerde wetten. Verdorie, ze sporen aan, AI is hightech tovenarij waar we als wetgevers niet veel van weten, dus de logica is dat het beter is om iets op de juridische pagina's te zetten dan er helemaal niets te hebben.

Op het eerste gezicht klinkt dat zeker overtuigend. Graaf echter dieper en je realiseert je dat het potentieel hooey is, inclusief en vooral in het geval van deze specifieke wet. Deze wet zou gemakkelijk handiger en oordeelkundiger kunnen worden bepaald. We hebben geen toverdrankjes nodig. We hoeven niet te wachten tot er een puinhoop ontstaat. Op het moment dat de wet werd opgesteld, hadden de juiste soort bewoordingen en details kunnen worden vastgesteld.

Laten we er ook voor zorgen dat het ongepaste, opzwepende idee dat de adoptie-aspecten niet vooraf konden worden geraden, pijnlijk belachelijk is. Het is legale mumbo-jumbo handzwaaien van de meest nietszeggende soort. Er zijn tal van reeds bekende overwegingen over het omgaan met AI-vooroordelen en het uitvoeren van AI-audits die gemakkelijk in deze wet hadden kunnen worden verwerkt. Hetzelfde kan gezegd worden voor elk ander rechtsgebied dat overweegt een dergelijke wet in te voeren. Laat u niet misleiden door te geloven dat we alleen onze toevlucht moeten nemen tot het blindelings gooien van een legale pijl in de wilde wind en het lijden van angst. Een klodder juridisch denken gecombineerd met een passend begrip van AI is al haalbaar en het is niet nodig om alleen naar strohalmen te grijpen.

Ik zou kunnen toevoegen dat er nog tijd is om dit recht te zetten. De klok tikt nog steeds. Het is mogelijk om wakker te worden voordat de alarmbellen gaan rinkelen. Het benodigde advies kan worden afgeleid en bekend gemaakt. De tijd is kort, dus hieraan moet de nodige prioriteit worden gegeven.

Zorg er in ieder geval voor dat u de nadruk hier begrijpt.

Staat u mij toe vurig te verduidelijken dat een dergelijke wet over AI-vooroordelen wel degelijk verdienste heeft. Ik zal even uitleggen waarom. Ik zal ook beschrijven welke problemen er zijn met deze nieuwe wet waarvan velen zouden zeggen dat het de eerste is die ooit in de juridische boeken is opgenomen (er zijn andere variaties, misschien niet helemaal zoals deze).

Je kunt inderdaad verwachten dat in het hele land geleidelijk soortgelijke wetten zullen ontstaan. Een opmerkelijke zorg is dat als deze first-mover-poging in New York City misgaat, dit ertoe kan leiden dat de rest van het land op zijn hoede is om dergelijke wetten uit te vaardigen. Dat is niet de juiste les om te leren. De juiste les is dat als je zo'n wet gaat schrijven, je dat verstandig en weloverwogen doet.

Wetten die in de boeken worden gegooid zonder voldoende doorlichting, kunnen behoorlijk schokkend zijn en allerlei stroomafwaartse problemen veroorzaken. In die zin moet je het kind niet met het badwater weggooien (een oud gezegde, zou waarschijnlijk met pensioen moeten gaan). De essentie is dat dergelijke wetten echt productief en beschermend kunnen zijn als ze op de juiste manier zijn opgesteld.

Deze specifieke gaat dit helaas niet buiten de poort doen.

Allerlei paniekerige begeleiding zal ongetwijfeld komen van de uitvoerders en handhavers van de wet. Markeer eind januari en in februari 2023 in uw agenda om te zien hoe de strijd losbarst. Met de vinger wijzen zal enorm intens zijn.

Niemand klaagt nu vooral omdat de wet nog niet op de hoofden van werkgevers is geland die door de nieuwe wet zullen worden gezonken. Stel je voor dat dit metaforisch gesproken een soort aardbeving is die in de eerste weken van 2023 zal plaatsvinden. Weinigen bereiden zich voor op de aardbeving. Velen weten niet eens dat de aardbeving al op de kalender staat. Dat gezegd hebbende, als de aardbeving eenmaal plaatsvindt, zullen veel zeer verbaasde en geschokte bedrijven zich afvragen wat er is gebeurd en waarom de puinhoop moest plaatsvinden.

Dit alles heeft met name belangrijke implicaties voor AI-ethiek en biedt een handig venster op de geleerde lessen (zelfs voordat alle lessen zijn getrokken) als het gaat om het proberen om AI wetgeving te maken. Voor mijn doorlopende en uitgebreide berichtgeving over AI-ethiek, ethische AI, samen met AI-recht te midden van de juridische facetten van AI-governance, kun je vinden op de link hier en de link hier, om er maar een paar te noemen.

Dit juridische verhaal van ellende heeft betrekking op de vroegere opkomende zorgen over de hedendaagse AI en met name het gebruik van Machine Learning (ML) en Deep Learning (DL) als een vorm van technologie en hoe deze wordt gebruikt. Zie je, er zijn toepassingen van ML/DL die de neiging hebben om de AI door het grote publiek te antropomorfiseren, gelovend of ervoor kiezend om aan te nemen dat de ML/DL ofwel bewuste AI is of dichtbij (dat is het niet). Bovendien kan ML/DL aspecten van computationele patroonvergelijking bevatten die onwenselijk of ronduit ongepast zijn, of illegaal vanuit ethisch of juridisch perspectief.

Het is misschien handig om eerst te verduidelijken wat ik bedoel als ik het over AI in het algemeen heb en ook een kort overzicht te geven van Machine Learning en Deep Learning. Er is veel verwarring over wat kunstmatige intelligentie inhoudt. Ik wil u ook de principes van AI-ethiek voorstellen, die vooral een integraal onderdeel zullen zijn van de rest van deze verhandeling.

Vermelding van het record over AI

Laten we ervoor zorgen dat we op dezelfde lijn zitten over de aard van de hedendaagse AI.

Er is tegenwoordig geen AI die bewust is.

Dit hebben we niet.

We weten niet of bewuste AI mogelijk zal zijn. Niemand kan treffend voorspellen of we bewuste AI zullen bereiken, noch of bewuste AI op de een of andere wonderbaarlijke manier spontaan zal ontstaan ​​in een vorm van computationele cognitieve supernova (meestal aangeduid als The Singularity, zie mijn bericht op de link hier).

Realiseer je dat de huidige AI niet in staat is om op enige manier te 'denken' op het niveau van menselijk denken. Wanneer je met Alexa of Siri communiceert, lijken de gesprekscapaciteiten misschien verwant aan menselijke capaciteiten, maar de realiteit is dat het computationeel is en geen menselijke cognitie heeft. Het nieuwste tijdperk van AI heeft uitgebreid gebruik gemaakt van Machine Learning en Deep Learning, die gebruikmaken van computationele patroonherkenning. Dit heeft geleid tot AI-systemen die de schijn hebben van mensachtige neigingen. Ondertussen is er tegenwoordig geen enkele AI die een schijn van gezond verstand heeft en evenmin de cognitieve verwondering van robuust menselijk denken.

Een deel van het probleem is onze neiging om computers en vooral AI te antropomorfiseren. Wanneer een computersysteem of AI lijkt te handelen op een manier die we associëren met menselijk gedrag, is er een bijna overweldigende drang om menselijke eigenschappen aan het systeem toe te schrijven. Het is een veel voorkomende mentale val die zelfs de meest onverzettelijke scepticus kan grijpen over de kansen om het bewustzijn te bereiken.

Tot op zekere hoogte is dat de reden waarom AI Ethics en Ethical AI zo'n cruciaal onderwerp is.

De voorschriften van AI Ethics zorgen ervoor dat we waakzaam blijven. AI-technologen kunnen soms in beslag worden genomen door technologie, met name de optimalisatie van hightech. Ze houden niet per se rekening met de grotere maatschappelijke gevolgen. Het hebben van een AI Ethics-mentaliteit en dit integraal doen voor de ontwikkeling en fielding van AI is van vitaal belang voor het produceren van geschikte AI, inclusief de beoordeling van hoe AI-ethiek door bedrijven wordt geadopteerd.

Naast het gebruik van AI-ethische voorschriften in het algemeen, is er een overeenkomstige vraag of we wetten moeten hebben om verschillende toepassingen van AI te regelen. Op federaal, staats- en lokaal niveau worden nieuwe wetten rondgestrooid die betrekking hebben op het bereik en de aard van hoe AI moet worden ontworpen. De inspanning om dergelijke wetten op te stellen en uit te voeren, is een geleidelijke. AI-ethiek dient op zijn minst als een weloverwogen noodoplossing en zal vrijwel zeker tot op zekere hoogte rechtstreeks worden opgenomen in die nieuwe wetten.

Houd er rekening mee dat sommigen onvermurwbaar beweren dat we geen nieuwe wetten nodig hebben die AI omvatten en dat onze bestaande wetten voldoende zijn. Ze waarschuwen vooraf dat als we een aantal van deze AI-wetten invoeren, we de gouden gans zullen doden door de vooruitgang in AI die enorme maatschappelijke voordelen biedt, in te dammen. Zie bijvoorbeeld mijn dekking op de link hier.

In eerdere columns heb ik de verschillende nationale en internationale inspanningen besproken om wetten te maken en uit te vaardigen die AI reguleren, zie de link hier, bijvoorbeeld. Ik heb ook de verschillende AI-ethiekprincipes en -richtlijnen behandeld die verschillende landen hebben geïdentificeerd en aangenomen, waaronder bijvoorbeeld de inspanningen van de Verenigde Naties, zoals de UNESCO-reeks AI-ethiek die bijna 200 landen hebben aangenomen, zie de link hier.

Hier is een handige keystone-lijst van ethische AI-criteria of kenmerken met betrekking tot AI-systemen die ik eerder nauwkeurig heb onderzocht:

• Transparantie
• Gerechtigheid & Eerlijkheid
• Niet-kwaadaardigheid
• Verantwoordelijkheid
• Privacy
• Weldadigheid
• Vrijheid & Autonomie
• Trust
• Duurzaamheid
• Waardigheid
• Solidariteit

Die AI Ethics-principes worden serieus verondersteld te worden gebruikt door AI-ontwikkelaars, samen met degenen die AI-ontwikkelingsinspanningen beheren, en zelfs degenen die uiteindelijk het onderhoud aan AI-systemen uitvoeren en uitvoeren. Alle belanghebbenden gedurende de gehele AI-levenscyclus van ontwikkeling en gebruik worden beschouwd in het kader van het naleven van de gevestigde normen van ethische AI. Dit is een belangrijk hoogtepunt, aangezien de gebruikelijke veronderstelling is dat "alleen codeurs" of degenen die de AI programmeren, onderworpen zijn aan het naleven van de AI-ethische noties. Zoals eerder hierin is benadrukt, is er een dorp nodig om AI te bedenken en in de praktijk te brengen, en waarvoor het hele dorp vertrouwd moet zijn met en zich moet houden aan de ethische voorschriften van AI.

Laten we de zaken nuchter houden en ons concentreren op de computationele, niet-bewuste AI van vandaag.

ML/DL is een vorm van computationele patroonvergelijking. De gebruikelijke aanpak is dat je gegevens verzamelt over een beslissingstaak. Je voert de data in in de ML/DL computermodellen. Die modellen proberen wiskundige patronen te vinden. Na het vinden van dergelijke patronen, indien gevonden, zal het AI-systeem die patronen gebruiken bij het tegenkomen van nieuwe gegevens. Bij de presentatie van nieuwe gegevens worden de patronen op basis van de "oude" of historische gegevens toegepast om een ​​actuele beslissing te nemen.

Ik denk dat je wel kunt raden waar dit naartoe gaat. Als mensen die het patroon van beslissingen hebben genomen, ongewenste vooroordelen hebben opgenomen, is de kans groot dat de gegevens dit op subtiele maar significante manieren weerspiegelen. Machine Learning of Deep Learning computationele patroonvergelijking zal eenvoudig proberen de gegevens dienovereenkomstig wiskundig na te bootsen. Er is geen schijn van gezond verstand of andere bewuste aspecten van AI-crafted modellering op zich.

Bovendien realiseren de AI-ontwikkelaars zich misschien ook niet wat er aan de hand is. De mysterieuze wiskunde in de ML/DL kan het moeilijk maken om de nu verborgen vooroordelen op te sporen. Je zou terecht hopen en verwachten dat de AI-ontwikkelaars zouden testen op de mogelijk begraven vooroordelen, hoewel dit lastiger is dan het lijkt. Er bestaat een solide kans dat zelfs bij relatief uitgebreide testen dat er nog steeds vooroordelen zullen zijn ingebed in de patroonvergelijkingsmodellen van de ML/DL.

Je zou een beetje het beroemde of beruchte adagium van garbage-in garbage-out kunnen gebruiken. Het punt is dat dit meer lijkt op vooroordelen, die verraderlijk doordrenkt raken als vooroordelen die ondergedompeld zijn in de AI. De algoritmebesluitvorming (ADM) van AI wordt axiomatisch beladen met ongelijkheden.

Niet goed.

Ik geloof dat ik nu de weg heb vrijgemaakt om de rol van AI voldoende te bespreken binnen de rubriek stilletjes stoppen.

AI die wordt gebruikt bij besluitvorming over werkgelegenheid

De wet van New York City richt zich op het onderwerp van arbeidsbesluitvorming.

Als je de laatste tijd bijna overal op deze aarde hebt geprobeerd te solliciteren naar een moderne baan, ben je waarschijnlijk een op AI gebaseerd element tegengekomen in het besluitvormingsproces over een baan. Natuurlijk weet je misschien niet dat het er is, omdat het achter de schermen verborgen zou kunnen zijn en je niet direct zou kunnen zien of er een AI-systeem bij betrokken was.

Een veelgebruikte slogan die wordt gebruikt om naar deze AI-systemen te verwijzen, is dat ze worden beschouwd als Geautomatiseerde instrumenten voor arbeidsbeslissingen, afgekort als AEDT.

Laten we eens kijken hoe de NYC-wet deze tools of apps definieerde die arbeidsbeslissingen met zich meebrengen:

• "De term 'geautomatiseerde tool voor arbeidsbeslissingen' betekent elk computerproces, afgeleid van machine learning, statistische modellering, data-analyse of kunstmatige intelligentie, dat vereenvoudigde output geeft, inclusief een score, classificatie of aanbeveling, dat wordt gebruikt om substantieel te helpen of ter vervanging van discretionaire besluitvorming voor het nemen van werkgelegenheidsbeslissingen die gevolgen hebben voor natuurlijke personen. De term 'automatisch hulpmiddel voor arbeidsbeslissingen' omvat geen hulpmiddel dat discretionaire besluitvormingsprocessen niet automatiseert, ondersteunt, wezenlijk ondersteunt of vervangt en dat geen materiële impact heeft op natuurlijke personen, met inbegrip van, maar niet beperkt tot, een filter voor ongewenste e-mail, firewall, antivirussoftware, rekenmachine, spreadsheet, database, dataset of andere compilatie van gegevens” (NYC, Int 1894-2020, subhoofdstuk 25, sectie 20-870).

Ik zal deze formulering kort onderzoeken, aangezien deze van vitaal belang is voor de hele aard en reikwijdte van de wet.

Ten eerste, zoals ik al vaak in mijn geschriften heb gezegd, bestaat een van de moeilijkste hindernissen bij het schrijven van wetten over AI erin te proberen adequaat te definiëren wat AI betekent. Er is geen enkelvoudige, volledig overeengekomen juridisch kogelvrije norm waar iedereen op is beland. Allerlei definities bestaan. Sommige zijn nuttig, andere niet. Zie mijn analyses op de link hier.

Je zou in de verleiding kunnen komen om te denken dat het er niet speciaal toe doet hoe we AI kunnen definiëren. Sorry, maar daar heb je het mis.

Het probleem is dat als de AI-definitie vaag is gespecificeerd in een bepaalde wet, het degenen die AI ontwikkelen in staat stelt om de wet te omzeilen door schijnbaar te beweren dat hun software of systeem niet door AI is geïnfundeerd. Ze zouden met grote vrijmoedigheid argumenteren dat de wet niet van toepassing is op hun software. Evenzo kan iemand die de software gebruikt ook beweren dat de wet niet op hem van toepassing is, omdat de software of het systeem dat hij gebruikt buiten de AI-definitie in de wet valt.

Mensen zijn zo lastig.

Een van de slimste manieren om te voorkomen dat u wordt overrompeld door een wet die u niet goed vindt, is door te beweren dat de wet niet op u van toepassing is. In dit geval zou u proberen de definitie van AEDT stukje bij beetje uit elkaar te halen. Uw doel, ervan uitgaande dat u niet wilt dat de wet u achtervolgt, zou zijn om juridisch te argumenteren dat de definitie in de wet onjuist is van wat uw werkgerelateerde computersysteem is of doet.

Een dergelijke wet kan zowel worden geholpen als soms ook worden ondermijnd door met opzet uitsluitingsbepalingen in de definitie op te nemen.

Kijk nog eens naar de definitie van AEDT zoals die in deze wet staat. U hebt hopelijk opgemerkt dat er een uitsluitingsclausule is die zegt: "... bevat geen tool die discretionaire besluitvormingsprocessen niet automatiseert, ondersteunt, wezenlijk ondersteunt of vervangt en die geen materiële impact heeft op natuurlijke personen...".

Enerzijds is de basis voor het opnemen van een dergelijke uitsluiting beslist nuttig.

Het lijkt te suggereren (volgens mijn leek) dat de AEDT een specifiek doel moet hebben en op een inhoudelijke manier moet worden gebruikt. Als de AEDT, laten we zeggen vluchtig of perifeer is, en als de tewerkstellingsbeslissing nog steeds nogal menselijk handgemaakt is, moet het gebruikte softwaresysteem misschien niet worden opgevat als een AEDT. Ook als de software of het systeem geen 'materiële' impact heeft op natuurlijke personen (mensen), dan lijkt het niet de moeite waard om als het ware met de voeten in het vuur te gaan.

Het is logisch dat u niet wilt dat een wet de reikwijdte ervan overdrijft en alles overspoelt, inclusief de gootsteen. Dit is in wezen oneerlijk en belastend voor degenen die de wet niet had moeten omvatten. Ze kunnen verstrikt raken in een moeras dat zich gedraagt ​​als een van die vangnetten. Vermoedelijk moeten onze wetten voorzichtig zijn om te voorkomen dat onschuldigen binnen de reikwijdte van de wet worden gesleept.

Alles is goed en wel.

Een slimme advocaat zal zich ongetwijfeld realiseren dat een uitsluitingsclausule een soort legale ontsnappingskaart kan zijn (terzijde, deze specifieke wet stelt civielrechtelijke straffen, geen strafrechtelijke straffen, dus de uit de gevangenis komen opmerking is louter metaforisch en voor smaakvolle punchiness). Als iemand zou beweren dat een bedrijf een AEDT gebruikte bij de verwerking van arbeidsplaatsen, zou een van de eerste manieren om die bewering te verhelpen, zijn door te stellen dat de zogenaamde AEDT zich in feite in het domein van uitsluiting bevond. Je zou kunnen proberen aan te tonen dat de zogenaamde AEDT dat niet doet automatiseren de tewerkstellingsbeslissing, of niet ondersteuning de tewerkstellingsbeslissing, of niet substantieel helpen or vervangen discretionaire besluitvormingsprocessen.

U kunt dan het kronkelige pad inslaan om te identificeren wat de woorden "automatiseren", "ondersteunen", "aanzienlijk helpen" of "vervangen" in deze context betekenen. Het is best een handig legaal konijnenhol. Er zou een overtuigend argument kunnen worden aangevoerd dat de software of het systeem waarvan wordt beweerd dat het een AEDT is, deel uitmaakt van de uitsluitingsindicaties. Daarom, geen kwaad, geen fout, met betrekking tot deze specifieke wet.

Het is duidelijk dat gediplomeerde advocaten voor dergelijke zaken moeten worden geraadpleegd (er wordt hierin geen schijn van juridisch advies aangegeven en dit is volledig de mening van leken).

Mijn punt hier is dat er speelruimte zal zijn in deze nieuwe wet. Door de speelruimte kunnen sommige werkgevers die echt een AEDT gebruiken, misschien een maas in de wet vinden om het AEDT-gebruik te omzeilen. De andere kant van die medaille is dat er misschien bedrijven zijn die niet echt een AEDT gebruiken en die door deze wet verstrikt raken. Er kan worden beweerd dat wat ze ook gebruikten inderdaad een AEDT was, en ze zullen een middel moeten vinden om aan te tonen dat hun software of systemen buiten de AEDT vielen en onder de uitsluitingsbepaling vielen.

We kunnen deze gewaagde voorspelling doen:

• Er zullen ongetwijfeld werkgevers zijn die willens en wetens een AEDT gebruiken die mogelijk zal proberen hun wettelijke verantwoordelijkheden te ontlopen.
• Het zal onvermijdelijk zijn dat werkgevers die geen AEDT gebruiken, verzanden in beweringen dat ze een AEDT gebruiken, waardoor ze gedwongen worden een "extra" inspanning te leveren om te laten zien dat ze geen AEDT gebruiken.

Ik zal verder ingaan op deze talrijke permutaties en combinaties als we verder komen in deze discussie. We hebben veel meer terrein te betreden.

Het gebruik van een AEDT op zich is niet het onderdeel van deze kwestie dat aanleiding geeft tot demonstratieve zorgen, het is de manier waarop de AEDT zijn acties uitvoert die de juridische woede op gang brengen. De crux is dat als de AEDT misschien ook vooroordelen introduceert met betrekking tot besluitvorming over werkgelegenheid, je dan in potentieel heet water bent (nou ja, een soort van).

Hoe kunnen we weten of een AEDT inderdaad AI-beladen vooroordelen introduceert in een besluitvormingsinspanning op het gebied van werkgelegenheid?

Het antwoord volgens deze wet is dat er een AI-audit moet worden uitgevoerd.

Ik heb eerder en vaak de aard van AI-audits behandeld en wat ze zijn, samen met het opmerken van bestaande nadelen en slecht gedefinieerde facetten, zoals bij de link hier en de link hier, naast vele andere verwante berichten. Simpel gezegd, het idee is dat net zoals u een financiële audit van een bedrijf zou kunnen uitvoeren of een technologie-audit zou kunnen doen met betrekking tot een computersysteem, u een audit op een AI-systeem kunt doen. Met behulp van gespecialiseerde audittechnieken, tools en methoden onderzoek en evalueer je waaruit een AI-systeem bestaat, waarbij je bijvoorbeeld probeert vast te stellen of het een of andere vooroordelen bevat.

Dit is een groeiend aandachtsgebied.

U kunt verwachten dat dit deelgebied van auditing dat is gewijd aan AI-audits zal blijven groeien. Het is direct duidelijk dat, aangezien er steeds meer AI-systemen op de markt worden losgelaten, en er op zijn beurt steeds meer om AI-audits zal worden gevraagd. Nieuwe wetten zullen hieraan bijdragen. Zelfs zonder die wetten zullen er tal van AI-audits zijn, aangezien mensen en bedrijven beweren dat ze door AI zijn benadeeld en zullen proberen een tastbare gedocumenteerde indicatie te geven dat de schade aanwezig was en verband hield met de AI die wordt gebruikt.

AI-auditors worden hot en er is veel vraag naar.

Het kan een boeiende job zijn. Een misschien spannend element is dat je wordt ondergedompeld in de nieuwste en beste AI. AI gaat steeds verder. Als dit gebeurt, zal een scherpzinnige AI-auditor scherp moeten blijven. Als je een auditor bent die het beu is geworden om alledaagse conventionele audits te doen, belooft de eye-opening altijd nieuwe AI-auditingarena een belofte (ik zeg dit om de status van auditors gedeeltelijk te verhogen, omdat ze vaak de onaangekondigde helden zijn die in de loopgraven werken en worden vaak verwaarloosd vanwege hun inspanningen).

Even terzijde, ik ben een gecertificeerde computersysteemauditor (een zo'n aanduiding is de CISA) en heb gedurende vele jaren vele malen IT-audits (informatietechnologie) uitgevoerd, waaronder AI-audits. Meestal krijg je niet de erkenning die je verdient voor zulke inspanningen. Je kunt waarschijnlijk wel raden waarom. Over het algemeen hebben auditors de neiging om dingen te vinden die verkeerd of kapot zijn. In die zin zijn ze heel behulpzaam, hoewel dit door sommigen als slecht nieuws kan worden ervaren, en de boodschapper van slecht nieuws wordt meestal niet speciaal op een voetstuk geplaatst.

Terug naar de zaak.

Met betrekking tot de NYC-wet, hier is wat de wet zegt over AI-audits en het proberen om AI-vooroordelen aan het licht te brengen:

• “De term 'bias audit' betekent een onpartijdige evaluatie door een onafhankelijke auditor. Een dergelijke bias-audit omvat, maar is niet beperkt tot, het testen van een geautomatiseerd instrument voor arbeidsbeslissingen om de ongelijksoortige impact van het instrument op personen van elke component 1-categorie te beoordelen die door werkgevers moet worden gerapporteerd op grond van subsectie (c) van sectie 2000e-8 van de titel 42 van de code van de Verenigde Staten zoals gespecificeerd in deel 1602.7 van titel 29 van de code van federale regelgeving” (NYC, Int 1894-2020, subhoofdstuk 25, sectie 20-870).

Als een samenvatting, hier is waar we tot nu toe zijn bij het uitpakken van deze wet:

• De wet heeft betrekking op Automated Employment Decision Tools (AEDT)
• Er is een soort definitie opgenomen om te bepalen wat een AEDT is
• De definitie van AEDT vermeldt ook uitsluitingsbepalingen
• De essentie is dat de wet AI-vooroordelen in AEDT wil blootleggen
• Om erachter te komen of er sprake is van AI-bias, moet er een AI-audit worden uitgevoerd
• De AI-audit zal vermoedelijk alle AI-vooroordelen bekend maken

Vervolgens kunnen we wat meer in de wet graven.

Dit is waar een tewerkstellingsbeslissing uit bestaat:

• "De term 'tewerkstellingsbeslissing' betekent het screenen van kandidaten voor werk of werknemers voor promotie binnen de stad" (NYC, Int 1894-2020, subhoofdstuk 25, sectie 20-870).

Merk op dat het begrenzende aspect van "de stad" suggereert dat de zaak alleen betrekking heeft op arbeidsgerelateerde omstandigheden binnen NYC. Het is ook vermeldenswaard dat een tewerkstellingsbeslissing zoals gedefinieerd het screenen van kandidaten inhoudt, wat de gebruikelijke connotatie is van wat wij beschouwen als een tewerkstellingsbeslissing, plus promoties.

Dit is een dubbele klap in die zin dat bedrijven zich moeten realiseren dat ze op de hoogte moeten zijn van hoe hun AEDT (als ze er een gebruiken) wordt gebruikt voor de initiële werkgelegenheidssituaties en ook bij promotie binnen het bedrijf. U kunt waarschijnlijk raden of aannemen dat veel bedrijven niet helemaal op de hoogte zijn van het promotie-element dat ook binnen deze rubriek valt. Ze zullen die extra constructie onvermijdelijk op eigen risico over het hoofd zien.

Ik ga vervolgens een extra belangrijk uittreksel van de wet geven om de essentie te belichten van wat door deze wet als onwettig wordt beschouwd:

• “Vereisten voor geautomatiseerde instrumenten voor arbeidsbeslissingen. a. In de stad is het voor een werkgever of een uitzendbureau onwettig om een ​​geautomatiseerd instrument voor tewerkstellingsbeslissingen te gebruiken om een ​​kandidaat of werknemer te screenen op een tewerkstellingsbeslissing, tenzij: 1. Een dergelijk instrument het onderwerp is geweest van een bias-audit die niet meer dan een jaar voorafgaand aan het gebruik van een dergelijk hulpmiddel; en 2. Een samenvatting van de resultaten van de meest recente bias-audit van een dergelijke tool, evenals de distributiedatum van de tool waarop een dergelijke audit van toepassing is, is voorafgaand aan het gebruik van zo'n tool ..." (NYC, Int 1894-2020, Subhoofdstuk 25, Sectie 20-871). Er zijn aanvullende subclausules die u misschien wilt bekijken, als u geïnteresseerd bent in de juridische formulering.

Sceptici en critici hebben betoogd dat dit enigszins lauw lijkt met betrekking tot de onwettige activiteit die wordt genoemd.

Ze zeggen dat de wet zich slechts beperkt en minimaal richt op uitvoeren een AI-audit en openbaar maken de resultaten, in plaats van of de AI-audit AI-vooroordelen heeft ontdekt en wat voor gevolgen dit heeft gehad bij het nemen van tewerkstellingsbeslissingen die onder de reikwijdte van deze wet vallen. In wezen is het blijkbaar onwettig om niet ervoor kiezen om een ​​dergelijke AI-audit uit te voeren (indien van toepassing, zoals eerder besproken), plus het is ook onwettig in het geval dat u de AI-audit uitvoert maar niet publiceer het.

De wet lijkt te zwijgen over de vraag of AI-vooroordelen zijn gedetecteerd en aanwezig zijn of niet. Evenzo zwijgen over de vraag of de AI-vooroordelen van invloed waren op iemand die verband hield met een opvallende beslissingsactiviteit op het gebied van werkgelegenheid. De sleutel is om schijnbaar "slechts" een AI-audit uit te voeren en erover te vertellen.

Gaat deze wet niet ver genoeg?

Een deel van het tegenargument om te beweren dat dit schijnbaar bevredigend is met betrekking tot het bereik of de reikwijdte van wat deze wet omvat, is dat als een AI-audit AI-vooroordelen aan het licht brengt, en als die AI-vooroordelen verband houden met bepaalde besluitvormingsinstanties op het gebied van werkgelegenheid, de persoon of personen die zo benadeeld zijn, de werkgever zouden kunnen vervolgen op grond van: anders wetten. Het is dus niet nodig om dat aspect in deze specifieke wet op te nemen.

Deze wet is bedoeld om dergelijke zaken aan het licht te brengen.

Zodra het daglicht op deze ongewenste praktijken is geworpen, kunnen allerlei andere juridische wegen worden gevolgd als AI-vooroordelen bestaan ​​en impact hebben op mensen. Zonder deze wet is het argument dat degenen die AEDT's gebruiken dit zouden doen terwijl ze mogelijk amok maken en mogelijk tonnen AI-vooroordelen hebben, waarvan degenen die werk zoeken of promoties zoeken niet zouden weten dat dit plaatsvindt.

Breng ze naar de oppervlakte. Laat ze vertellen. Ga onder de motorkap. Kijk wat er in die motor zit. Dat is de mantra in dit geval. Uit dit opduiken en vertellen, kunnen aanvullende acties worden ondernomen.

Naast het zoeken naar juridische stappen als gevolg van het verhelderen dat een AI-audit misschien heeft gemeld dat AI-vooroordelen aanwezig waren, is er ook de overtuiging dat het publiceren van deze resultaten gevolgen zal hebben voor de reputatie. Werkgevers die worden getoond als het gebruik van AEDT's met AI-vooroordelen, zullen waarschijnlijk maatschappelijke toorn krijgen, zoals via sociale media en dergelijke. Ze zullen worden ontmaskerd voor hun slechte daden en beschaamd om hun gedrag te corrigeren, en kunnen ook merken dat ze worden verstoken van mensen die daar willen werken vanwege de scrupules dat AI-vooroordelen het aannemen of toe-eigenen van promoties verhinderen.

De vermelde straffen in verband met onwettig zijn, zijn deze:

• “Straffen. a. Elke persoon die een bepaling van dit subhoofdstuk of een regel die is uitgevaardigd krachtens dit subhoofdstuk overtreedt, is aansprakelijk voor een civielrechtelijke boete van niet meer dan $ 500 voor een eerste overtreding en elke volgende overtreding die plaatsvindt op dezelfde dag als de eerste overtreding, en niet minder dan $500 en niet meer dan $1,500 voor elke volgende overtreding” (NYC, Int 1894-2020, Subhoofdstuk 25, Sectie 20-872). Er zijn aanvullende subclausules die u misschien wilt bekijken, als u geïnteresseerd bent in de juridische formulering.

Sceptici en critici beweren dat de straffen niet hard genoeg zijn. Een groot bedrijf zou zogenaamd spotten of lachen om de minuscule dollarboetes die ermee gemoeid waren. Anderen wijzen erop dat de boete uiteindelijk meer zou kunnen zijn dan op het eerste gezicht lijkt, zodat als een bedrijf elke dag voor duizend dollar aan overtredingen zou hebben (slechts één scenario, er zijn veel andere scenario's), de waarde van een jaar ongeveer zou zijn $ 365,000, in de veronderstelling dat het bedrijf de wet een heel jaar gewoon negeerde en ermee wegkwam (lijkt moeilijk voor te stellen, maar zou kunnen gebeuren, en zou zelfs langer kunnen duren of voor een hoger hoogtepunt van dagelijkse boetes, in theorie).

Ondertussen maken sommigen zich zorgen over kleinere bedrijven en de bijbehorende boetes. Als een klein bedrijf dat amper de eindjes aan elkaar knopt, met de boetes wordt getroffen, en zogenaamd niet door een opzettelijke motivatie om de wet te omzeilen, kunnen de boetes hun wankele bedrijf materieel beïnvloeden.

De Keystone Problematische Overwegingen

Ik heb een simpele en duidelijke vraag voor je.

Wat is in het kader van deze wet precies een AI-audit?

Problematisch is er geen definitieve aanwijzing in het verhaal van de wet. Het enige dat ons lijkt te zijn verteld, is dat de "bias-audit" moet worden uitgevoerd via "een onpartijdige evaluatie door een onafhankelijke auditor" (volgens de bewoordingen van de wet).

Je kunt een Mac-truck door dat gapende gat rijden.

Dit is waarom.

Beschouw dit nogal verontrustende voorbeeld. Een oplichter neemt contact op met een bedrijf in NYC en legt uit dat ze een service verlenen zodat ze een zogenaamde "bias-audit" van hun AEDT zullen doen. Ze beloven dat ze dit "onpartijdig" zullen doen (wat dat ook betekent). Ze profileren zich als een onafhankelijke auditor, en ze hebben zichzelf gezalfd als één. Geen enkele vorm van boekhoud- of audittraining, diploma's, certificeringen of iets dergelijks nodig. Misschien doen ze de moeite om wat visitekaartjes af te drukken of zetten ze haastig een website op waarin ze hun onafhankelijke accountantsstatus aanprijzen.

Ze zullen het bedrijf een bescheiden vergoeding van bijvoorbeeld $ 100 in rekening brengen. Hun service bestaat uit misschien een paar vragen stellen over de AEDT en vervolgens verkondigen dat de AEDT vrij van vooroordelen is. Ze sturen dan een rapport van één pagina groot en declareren de “resultaten” van de zogenaamde audit. Het bedrijf plaatst dit plichtsgetrouw op zijn website.

Heeft het bedrijf zich aan deze wet gehouden?

Vertel jij mij het.

Het lijkt erop dat ze dat hebben.

Je zou meteen verrast kunnen zijn dat de audit op een vluchtige manier is gedaan (dat is beleefd en genereus zijn in dit specifieke scenario). Je zou verontrust kunnen zijn dat de detectie van bias (of het ontbreken daarvan) misschien in wezen vooraf was bepaald (voila, je lijkt bias-vrij te zijn). U bent misschien van streek dat de gepubliceerde resultaten de indruk kunnen wekken dat u bent geslaagd voor een strenge audit door een bonafide, doorgewinterde, getrainde, ervaren, gecertificeerde auditor.

Ja, dat maakt dingen groter.

Een werkgever zou opgelucht kunnen zijn dat ze deze "dwaze" eis hebben vervuld en verdomd blij zijn dat het hen slechts een miezerige $ 100 heeft gekost. De werkgever kan intern en stilletjes beseffen dat de onafhankelijke audit een schertsvertoning was, maar dat is schijnbaar niet op hun schouders om te beslissen. Ze kregen een beweerde onafhankelijke auditor te zien, de auditor deed het werk waarvan de auditor zei dat het compliant was, het bedrijf betaalde ervoor, ze kregen de resultaten en ze publiceerden de resultaten.

Sommige werkgevers zullen dit doen en beseffen dat ze met een knipoog de wet naleven. Toch zullen ze geloven dat ze volledig compliant zijn.

Andere werkgevers kunnen worden opgelicht. Het enige dat ze weten, is de noodzaak om zich aan de wet te houden. Gelukkig voor hen (zo nemen ze aan), neemt een "onafhankelijke auditor" contact met hen op en belooft dat een klachtaudit en resultaat voor $ 100 kan worden verkregen. Om te voorkomen dat ze die dagelijkse boete van $ 500 of meer krijgen, denkt het bedrijf dat ze een geschenk uit de hemel hebben gekregen. Ze betalen de $ 100, de "audit" vindt plaats, ze krijgen een gratis gezondheidsverklaring vanwege hun gebrek aan AI-vooroordelen, ze posten de resultaten en ze vergeten dit tot de volgende keer dat ze weer zo'n audit moeten doen .

Hoe moet elk bedrijf in NYC dat aan deze wet is onderworpen, weten wat bonafide naleving van de wet is?

Voor het geval je je maag nog niet al een beetje aan het rommelen bent, kunnen we het nog erger maken. Ik hoop dat je de afgelopen uren niet hebt gegeten, want de volgende wending zal moeilijk zijn om intact te houden.

Ben je klaar?

Deze nep-serviceprovider blijkt meer een schande dan je misschien had gedacht. Ze zorgen ervoor dat het bedrijf zich aanmeldt voor de $ 100-service om de onpartijdige bias-audit als onafhankelijke auditor uit te voeren. Kijk, ze doen de "audit" en ontdekken dat er vooroordelen zijn in elk hoekje en hoekje van de AEDT.

Ze hebben AI-vooroordelen zoals een kakkerlakkenplaag.

Yikes, zegt het bedrijf, wat kunnen we eraan doen?

Geen probleem, krijgen ze te horen, we kunnen die AI-vooroordelen voor je oplossen. Het kost u slechts $ 50 per gevonden vooroordeel. Oké, zegt de firma, repareer ze alstublieft, bedankt daarvoor. De serviceprovider codeert wat blarney en vertelt het bedrijf dat ze honderd AI-bias hebben opgelost en daarom $ 5,000 in rekening zullen brengen (dat is $ 50 per AI-bias dat moet worden verholpen, vermenigvuldigd met de 100 gevonden).

Ouch, het bedrijf voelt zich bekneld, maar het is nog steeds beter dan de overtreding van $ 500 of meer per dag onder ogen te zien, dus betalen ze de "onafhankelijke auditor" en krijgen dan een nieuw rapport waaruit blijkt dat ze nu vrij van vooroordelen zijn. Dit zetten ze trots op hun website.

Ze weten niet dat dit bedrog, oplichterij, oplichterij was.

Je zou erop kunnen aandringen dat deze dienstverlener moet worden gestraft voor hun bedrog. Het vangen en stoppen van deze bedriegers zal een stuk moeilijker zijn dan je zou denken. Net zoals achter die in het buitenland gevestigde prinsen aan gaan die een fortuin voor je hebben, zich waarschijnlijk in een vreemd land bevinden dat buiten het bereik van de Amerikaanse wet ligt, hetzelfde kan in dit geval ook gebeuren.

Verwacht dat er door deze nieuwe wet een huisnijverheid zal ontstaan.

Er zullen bonafide auditors zijn die deze diensten willen verlenen. Goed voor hen. Er zullen vage auditors zijn die achter dit werk aan gaan. Er zullen valselijk uitgeroepen auditors zijn die achter dit werk aan gaan.

Ik zei dat het scenario van de serviceprovider inhield dat ik $ 100 vroeg om de zogenaamde AI-audit uit te voeren. Dat was gewoon een verzonnen tijdelijke aanduiding. Misschien vragen sommigen $ 10 (lijkt vaag). Misschien zo'n $ 50 (nog steeds vaag). Enz.

Stel dat een serviceprovider zegt dat het $ 10,000 kost om het werk te doen.

Of 100,000 dollar om het te doen.

Mogelijk $ 1,000,000 om dit te doen.

Sommige werkgevers hebben geen idee hoeveel dit zou kunnen of moeten kosten. De marketing van deze diensten zal voor iedereen gratis zijn. Dit is een wet om geld te verdienen voor degenen die deze diensten legitiem uitvoeren en een geldmaker voor degenen die daarbij achterbaks zijn. Het zal moeilijk zijn om te weten welke wat is.

Ik zal je ook vragen om nog een gapend gat te overwegen.

Wat is in de context van deze wet precies een AI-bias?

Afgezien van de vermelding van de Amerikaanse code van federale regelgeving (dit geeft geen specifiek antwoord op de kwestie van AI-vooroordelen en dient dus niet als een noodoplossing of oplosser in deze kwestie), zou je het moeilijk hebben om te beweren dat deze nieuwe wet geeft enige inhoudelijke indicatie van wat AI-vooroordelen zijn. Nogmaals, dit zal volledig openstaan ​​voor zeer uiteenlopende interpretaties en je zult niet speciaal weten waarnaar werd gezocht, wat werd gevonden, enzovoort. Ook zal het werk van zelfs bonafide AI-auditors bijna onvergelijkbaar zijn met dat van andere, zodat elk de neiging heeft om hun eigen definities en benaderingen te gebruiken.

Kortom, we kunnen met schroom en bezorgdheid kijken naar wat werkgevers zullen tegenkomen als gevolg van deze losjes geformuleerde, maar goedbedoelde wet:

• Sommige werkgevers zijn op de hoogte van de wet en zullen zich er naar beste vermogen en oprecht aan houden
• Sommige werkgevers zullen de wet kennen en zich marginaal houden aan het smalste, goedkoopste en mogelijk onsmakelijke pad dat ze kunnen vinden of dat voor hun deur komt
• Sommige werkgevers zullen weten van de wet en denken dat ze niet binnen de reikwijdte van de wet vallen, dus zullen er niets aan doen (hoewel blijkt dat ze wel binnen de reikwijdte van de wet vallen)
• Sommige werkgevers zullen de wet kennen en botweg besluiten deze te negeren, misschien in de veronderstelling dat niemand het zal merken of dat de wet niet zal worden gehandhaafd, of dat de wet niet-afdwingbaar zal blijken te zijn, enz.
• Sommige werkgevers zullen niets weten van de wet en zullen platvoets betrapt worden, worstelend om te voldoen
• Sommige werkgevers zullen niets weten van de wet en zullen jammerlijk worden belazerd door oplichters
• Sommige werkgevers zullen niets weten van de wet, ze vallen niet binnen de reikwijdte, maar ze worden toch hoe dan ook belazerd door oplichters die hen ervan overtuigen dat ze binnen de reikwijdte vallen
• Sommige werkgevers zullen niets van de wet weten en er niets aan doen, terwijl ze op wonderbaarlijke wijze nooit worden gepakt of betrapt vanwege hun toezicht
• Overige

Een cruciale overweging om in gedachten te houden is de omvang of schaal van deze nieuwe wet.

Volgens verschillende gerapporteerde statistieken met betrekking tot het aantal bedrijven in New York City, wordt het aantal meestal aangegeven als ergens rond de 200,000 bedrijven (laten we dat als een orde van grootte gebruiken). Ervan uitgaande dat dit een redelijke benadering is, zijn vermoedelijk die bedrijven als werkgevers onderworpen aan deze nieuwe wet. Neem dus de bovengenoemde verschillende manieren waarop werkgevers op deze wet zullen reageren en bedenk hoeveel er in elk van de verschillende emmers zullen zitten die ik zojuist heb genoemd.

Het is een nogal duizelingwekkend schaalprobleem.

Bovendien zijn er, volgens gerapporteerde statistieken, misschien 4 miljoen banen in de particuliere sector in New York City, plus een geschat aantal van 300,000 overheidsmedewerkers in dienst van de NYC-regering (gebruik die opnieuw als ordes van grootte in plaats van nauwkeurige tellingen). Als je er rekening mee houdt dat nieuwe medewerkers schijnbaar binnen de reikwijdte van deze nieuwe wet vallen, samen met promoties die verband houden met al die bestaande en toekomstige werknemers, is het aantal werknemers dat op de een of andere manier door deze wet zal worden geraakt, ronduit verbazingwekkend .

The Big Apple heeft een nieuwe wet die op het eerste gezicht onschuldig lijkt en ogenschijnlijk verwaarloosbaar of alledaags, maar als je je realiseert welke schaalfactoren erbij betrokken zijn, kan je hoofd ervan tollen.

Conclusie

Ik heb aan het begin van deze discussie al gezegd dat dit een goedbedoelde nieuwe wet is.

Alles wat ik zojuist heb beschreven als mogelijke mazen, weglatingen, hiaten, problemen en dergelijke, kan allemaal gemakkelijk worden voorzien. Dit is geen raketwetenschap. Ik zou kunnen toevoegen dat er nog meer inherente zorgen en verwarrende aspecten aan deze wet zijn die ik vanwege ruimtebeperkingen hierin niet heb genoemd.

Je kunt ze net zo gemakkelijk vinden als je vissen in een ton kunt schieten.

Dit soort wetten moeten zorgvuldig worden opgesteld om te proberen dit soort stiekeme eindes te voorkomen. Ik neem aan dat de serieuze componisten probeerden een wet te schrijven waarvan ze dachten dat deze relatief ijzersterk was en in het ergste geval misschien hier of daar wat piepkleine druppeltjes zou krijgen. Helaas is het een brandslang van druppels. Er zal veel ducttape nodig zijn.

Had de wet op een meer opgehelderde manier kunnen worden geschreven om deze nogal schijnbare mazen en bijbehorende problemen te dichten?

Ja, volop dus.

Nu dat het geval is, zou je verontwaardigd kunnen vermanen dat een dergelijke wet ongetwijfeld veel langer zou zijn. Er is altijd een afweging tussen het hebben van een wet die maar doorgaat, onpraktisch wordt, versus beknopt en compact zijn. U wilt echter niet beknoptheid verkrijgen ten koste van wat inhoudelijke en verdienstelijke duidelijkheid en specificiteit zou zijn. Een korte wet die shenanigans toestaat, is schering en inslag voor problemen. Een langere wet, zelfs als deze schijnbaar ingewikkelder is, zou meestal een waardige afweging zijn als het downstream-problemen tijdens de goedkeuringsfase vermijdt, voorkomt of op zijn minst minimaliseert.

Sint-Augustinus zei beroemd: "Het lijkt mij dat een onrechtvaardige wet helemaal geen wet is."

We zouden kunnen concluderen dat een rechtvaardige wet die is samengesteld uit problematische taal, een wet is die smeekt om harde problemen. In dit geval lijken we te zitten met de wijze woorden van de grote jurist Oliver Wendell Holmes Jr., namelijk dat een pagina geschiedenis een pond logica waard is.

Let op, want binnenkort wordt geschiedenis geschreven.