Clip uit Dawn Project-video waarin te zien is dat Tesla een pop in de vorm van een kind slaat.
Dawn-project
A recente video van Tesla
O'Dowd heeft vaak geschreven dat hij Tesla FSD wil verbieden. Ik heb zijn campagne eerder behandeld, en hij deed onlangs een run voor de nominatie van de Senaat van Californië, uitsluitend om advertenties tegen Tesla FSD-campagne te voeren. Hij heeft natuurlijk de woede van Elon Musk en de vocale pro-Tesla-gemeenschap opgewekt. Als zodanig was er meteen sparring. De originele video die hierboven is gelinkt, toonde niet dat FSD geactiveerd was, hoewel latere releases aantoonden dat dit wel het geval was. Sommigen suggereerden dat moeilijk leesbare schermafbeeldingen zeiden dat de bestuurder het pedaal ingedrukt hield. Andere gegevens laten zien dat de auto langzamer gaat rijden of waarschuwingen geeft, en er wordt over en weer gediscussieerd over hoe echt de demonstratie is.
ADVERTENTIE
De demonstratie was provocerend gekozen, want niets is enger dan auto's die kinderen raken. Elke dag sterven er in de VS 3 kinderen bij auto-ongelukken, en elk jaar komen ongeveer 170 kinderen om door auto's. Voor velen is de reactie dat geen enkele technologie die ooit een kind zou overrijden, acceptabel is. NHT
Deze kwestie is zeer complex en zoals niet al te ongebruikelijk is, krijgt niemand het precies goed. Het FSD-systeem, hoewel het een bèta wordt genoemd, wordt nauwkeuriger een prototype genoemd. Zelfrijdende prototypes (en bèta's) vereisen volgens de meeste ontwikkelaars grote hoeveelheden tests op de weg, en elk team doet dit, waarbij menselijke "veiligheidsbestuurders" het systeem in de gaten houden en regelmatig ingrijpen wanneer het fouten maakt om incidenten te voorkomen. Tesla is ongebruikelijk omdat het gewone klanten toestaat om deel te nemen aan deze tests, terwijl alle andere bedrijven werknemers hebben, met een bepaald opleidingsniveau, deze taak uitvoeren en gewoonlijk 2 werknemers per voertuig hebben.
Prototypes falen van nature, ook op belangrijke zaken als het stoppen voor voetgangers op de weg. Elk team, van de beste zoals Waymo tot de slechtste, heeft voertuigen op de weg gezet die regelmatig iets ernstigs zouden doen, behalve ingrijpen, en de meesten zijn van mening dat het testen van dergelijke voertuigen in een vroeg stadium noodzakelijk was en is om vooruitgang te boeken en uiteindelijk de auto's in te zetten. Eenmaal ingezet, zullen de auto's van veel hogere kwaliteit zijn en levens redden - veel van hen - dus iedereen wil dat die inzet zo snel mogelijk plaatsvindt, maar er zijn veel problemen om te bespreken over hoe we op dat punt komen en wanneer we het hebben bereikt het.
ADVERTENTIE
Bestuurdersassistent versus zelfrijdend
Naast de vraag of Tesla's gebruik van klanten om hun prototype te testen een goed idee is, draaien veel problemen om het verschil tussen rijhulpsystemen, waarbij een mens volledig betrokken is bij het rijden, maar toezicht houdt op het systeem in plaats van fysiek te bewegen de bedieningselementen en zelfrijdende systemen, waar geen menselijk toezicht nodig is (en inderdaad, het voertuig kan rijden zonder dat er iemand in zit.)
Veel insiders uit de branche zijn van mening dat dit twee nogal verschillende dingen zijn, en dat het een fout was van de NHTSA om ze te verklaren als slechts twee verschillende "niveaus" van automatiseringstechnologie. Sterling Anderson, mede-oprichter van Aurora self-driving, denkt dat het overstappen van driver assist (of ADAS, voor geavanceerde driver assist) naar zelfrijdend is als proberen naar de maan te komen door hogere ladders te bouwen.
Het eerste grote geavanceerde rijhulpsysteem waarmee een persoon zijn voeten van de pedalen kon halen, was cruisecontrol, in het bijzonder adaptieve cruisecontrol. Later kwam er lanekeeping waarmee je je handen van het stuur kunt halen, en al snel werden de twee gecombineerd in producten zoals Tesla 'Autopilot'. Als ADAS (driver assist) tools zijn deze bedoeld om met volle aandacht te gebruiken.
ADVERTENTIE
Hoewel niet iedereen het aanvankelijk geloofde, is de algemene conclusie vandaag dat deze systemen werken en geen gevaar opleveren op de weg. In het begin twijfelden mensen aan zelfs maar elementaire cruisecontrol, maar het werd al snel een veel voorkomende functie op auto's.
Tesla Autopilot riep om verschillende redenen nieuwe vragen op, maar het meest interessante probleem draait om het feit dat het qua functionaliteit duidelijk superieur is aan eerdere producten, inclusief eenvoudigere cruisecontrols - maar die superioriteit zou het zelfs gevaarlijker en dus inferieur kunnen maken. Er doet zich een vreemde paradox voor, waarbij hoe beter het systeem is, hoe slechter het resultaat kan zijn, omdat het superieure systeem een "automatiseringszelfgenoegzaamheid" veroorzaakt waarbij de toezichthoudende bestuurder minder aandacht aan de weg besteedt. (Sommigen zijn ook van mening dat de namen "Autopilot" en FSD van Tesla deze zelfgenoegzaamheid aanmoedigen, en de openbare berichten rond deze producten doen dit ook.)
Dit is geen goede paradox om te hebben. We willen betere systemen ontwikkelen, maar als een systeem over het algemeen slechter wordt naarmate je het beter maakt, is het veel moeilijker om echt goede systemen te krijgen als je door een vallei van gevaar reist waar dingen eerst erger worden voordat ze beter worden. Tegenwoordig zouden we een standaard cruisecontrol nooit de schuld geven van het feit dat het een kind zal raken of door een rood licht zal blazen - die systemen waren veel eenvoudiger en hadden helemaal geen mogelijkheid om die fouten te vermijden. Maar velen willen het veel betere systeem verwijten dat stopt voor de meeste obstakels omdat het niet voor 100% stopt - hoewel geen enkel systeem ooit zo perfect zal zijn om 100% van de fouten te vermijden, en hoewel mensen ook niet perfect zullen zijn.
ADVERTENTIE
Een Uber ATG-auto, toen ze op de weg aan het testen waren
AFP via Getty Images
Ik heb deelgenomen aan het opstellen van de eerste testwetten voor zelfrijdende auto's ter wereld, in Nevada en Californië. De spelers waren het erover eens dat er enkele basisregels zouden moeten zijn over hoe testen op de weg moet worden uitgevoerd (vorige regels verboden dit niet, aangezien niemand dat ooit had gedacht). Tegelijkertijd deden de autofabrikanten, die ADAS-tools verkopen, niet willen dat hun ADAS-auto's worden onderworpen aan testvoorschriften voor zelfrijdende auto's, dus werd de ADAS-operatie uitgesloten als niet gedekt door die voorschriften.
Vooral in Californië zorgde dit voor een open vraag. Alle zelfrijdende tests (met enkele recente uitzonderingen) worden gedaan met een toezichthoudende veiligheidschauffeur. Op die manier lijkt het heel erg op het besturen van een ADAS-auto. De wet was niet duidelijk over het onderscheid dat enkele interessante situaties heeft gecreëerd. Anthony Levandowski, die ook deelnam aan het opstellen van de regelgeving, werd later hoofd van Uber
ADVERTENTIE
De DMV ging ervan uit dat als je een zelfrijdend systeem probeerde te maken, ook al was het een vroeg onvolledig systeem dat toezicht nodig had en altijd onder toezicht stond, je zou moeten worden beschouwd als een zelfrijdend testbedrijf volgens de regels.
Desondanks zet Tesla dezelfde aanpak voort. Aangezien Tesla zeker een ADAS-product heeft, melden ze nooit dat ze zelfrijdende tests doen aan de staat. Tot nu toe heeft de DMV dit laten glijden - zelfs het testen van Tesla FSD door Tesla-medewerkers, wat erg moeilijk te onderscheiden is met wat ze Uber ervan weerhielden te doen. De RDW zou dit goed kunnen regelen. Maar hoe zit het met het gebruik door de klant, waar het officieel (als je de kleine lettertjes leest en de naam negeert) een driver assist tool is?
Maar het lijkt te werken
De belangrijkste oplossing hiervoor zijn manieren om ervoor te zorgen dat de aandacht van de toezichthouder hoog blijft. Hier zijn verschillende technieken voor, waaronder het op verschillende manieren monitoren van de bestuurder en zeuren als ze niet opletten, of zoals opgemerkt door getrainde professionele chauffeurs of zelfs een team van hen met meerdere ogen op de weg. Gedurende vele decennia hebben we tienerchauffeurs opgeleid in rijscholen door een instructeur te hebben die het stuur kan pakken en zijn eigen rem heeft om de auto te stoppen, en dat systeem heeft heel goed gewerkt.
ADVERTENTIE
De sterke conclusie tot nu toe is dat dit werkt. Het veiligheidsrecord van grote zelfrijdende bedrijven zoals Waymo is voorbeeldig. Waymo rapporteerde in 20 meer dan 2021 miljoen mijl testen met veiligheidschauffeurs en heeft in die tijd misschien 2 at-fault-ongevallen gehad. Mensen zullen in die periode gemiddeld meer dan 40 ongevallen hebben. Net zoals rijstudenten met rij-instructeurs het veel beter doen dan bestuurders met een pas rijbewijs, werkt het monitoringsysteem duidelijk, en deze voertuigen vormen feitelijk minder risico voor het publiek dan vergelijkbaar rijden door gewone mensen zou doen.
Als in de VS niemand gewond raakt - of in ieder geval als het risiconiveau lager is dan dat van gewoon autorijden - zou een activiteit over het algemeen niet worden gereguleerd. De VS-aanpak is veel toleranter - je hoeft niet te bewijzen dat wat je doet veilig is, maar als het onveilig blijkt te zijn, kun je worden aangehouden en aansprakelijk worden gesteld voor eventuele schade die je hebt veroorzaakt. In sommige andere landen zouden regelgevers van tevoren moeten beslissen of iets veilig is, een veel hogere lat die veel minder bevorderlijk is voor innovatie.
Natuurlijk, in een beroemd geval had de benadering van de veiligheidschauffeur een dodelijke afloop, toen het voertuig van Uber ATG een voetganger in Arizona doodde. Uit het NTSB-onderzoek en latere rechtszaken bleek dat de veiligheidschauffeur nalatig was (ze keek tv in plaats van haar werk te doen), hoewel Uber ook werd verweten dat het een slechte cultuur had bij het beheren van hun veiligheidschauffeurs, wat bijdroeg aan deze fout. De belangrijke conclusie is echter dat: het veiligheidsstuursysteem werkt en brengt het publiek zelf niet in gevaar, hoewel het uiteraard mogelijk is dat bestuurders van menselijke veiligheid nalatig zijn en een hoog risico veroorzaken.
ADVERTENTIE
Dat is het systeem met opgeleide betaalde chauffeurs. Tesla gaat verder en laat gewone klanten het werk doen. Er zijn een aantal incidenten geweest waarbij Tesla-chauffeurs duidelijk nalatig zijn geweest bij het toezicht op het Autopilot-product, en er hebben crashes plaatsgevonden, waaronder dodelijke. Tesla-auto's rijden echter veel meer kilometers met Autopilot dan welk zelfrijdend team dan ook, dus de aanwezigheid van negatieve en zelfs tragische gebeurtenissen is niet noodzakelijkerwijs een bewijs dat het systeem het publiek blootstelt aan grotere risico's.
Elk kwartaal publiceert Tesla misleidende statistieken die stellen dat bestuurders die Autopilot gebruiken betere veiligheidsgegevens hebben dan degenen die dat niet doen, ook al zijn sommige Autopilot-gebruikers nalatig. Hoewel deze cijfers gelijk staan aan een leugen, Ik en anderen hebben geprobeerd de echte getallen te reverse-engineeren, en de echte cijfers zijn niet zo slecht, en suggereren dat Autopilot-gebruikers een vergelijkbaar veiligheidsrecord hebben als niet-gebruikers. Hoewel het niet superieur is, stelt het mensen ook niet bloot aan extra risico. Het resultaat is zo dichtbij dat de NHTSA een onderzoek doet naar Tesla-ongevallen met hulpverleningsvoertuigen. Het is niet bekend of ze de voorzorgsaanpak zullen volgen of naar het algemene veiligheidsrecord zullen kijken.
Velen hebben gesuggereerd dat Tesla hun record zou kunnen verbeteren met betere monitoring van de bestuurder. De standaard bewaking vereist gewoon dat de bestuurder regelmatig kracht op het stuur uitoefent. Andere bedrijven hebben camera's die de ogen van de chauffeur in de gaten houden om er zeker van te zijn dat ze de weg in de gaten houden - als Uber ATG dit had gedaan, hadden ze hun dodelijke afloop kunnen voorkomen. Tesla is onlangs ook begonnen met het monitoren van de blik van de bestuurder.
ADVERTENTIE
Opgemerkt moet worden dat de berekening die de veiligheid van Tesla Autopilot aantoont als vergelijkbaar met normaal rijden, een utilitaire berekening is. Het is eigenlijk de combinatie van een hoger aantal ongevallen onder een kleine groep nalatige Autopilot-gebruikers die de weg negeren of zelfgenoegzaam worden in de automatisering, en een beter veiligheidsrecord van degenen die ijverig zijn. We hebben het hier filosofisch moeilijk mee - we houden er niet van om sommige mensen een hoger risico te laten lopen, ook al krijgen meer mensen een lager risico. We vinden het niet zo leuk dat we de ijverige mensen een hulpmiddel zouden kunnen ontnemen dat hen veiliger maakt om degenen die nalatig zijn te beschermen, hoewel dit niet ons doel is.
Hoe zit het met FSD?
Bovenstaande gegevens hebben betrekking op Autopilot, een verzendproduct. Tesla FSD is geen verzendproduct. Ze noemen het een "bèta" (wat een bijna voltooid product is in de laatste testfase voor de release), maar dat is het helemaal niet. Ze hebben nu meer dan 100,000 Tesla-bezitters die het uitproberen. Om het te gebruiken, moet de eigenaar een vergoeding betalen (nu oplopend tot $ 15,000) om het uiteindelijke FSD-systeem vooraf te bestellen en een soort veilig rijexamen afleggen om toegelaten te worden tot het testcohort. De veilige rijtest is grotendeels nep en test niet wat je eigenlijk zou willen voor deze taak, maar het betekent wel dat niet iedereen die betaalt het krijgt.
Ze waarschuwen chauffeurs dat het systeem veel bugs had en constant toezicht nodig heeft, zoals ADAS, en zeggen: "Het zal op het slechtste moment het verkeerde doen." Dat is een vrij duidelijke uitspraak, maar tegelijkertijd roept de naam “full self driving” natuurlijk een ander beeld op dan ADAS. Ik heb met dit systeem gereden en beoordeelde de prestaties als een zelfrijdend systeem als vrij slecht.
ADVERTENTIE
Toch lijkt de aanpak van Tesla te werken, ondanks intuïties van het tegendeel. Met 100,000 chauffeurs ondergaat het systeem miljoenen kilometers aan gebruik (hoewel er geen openbare gegevens zijn over hoeveel elke bestuurder het systeem gebruikt.) We weten ook dat er veel publiek toezicht is op eventuele ongevallen waarbij de FSD wordt getest systeem, en slechts een klein aantal kleine incidenten is openbaar geworden. Hoewel sommige Tesla FSD-testers zulke grote Tesla-fans zijn dat ze een ongeluk zouden kunnen verbergen, is het uiterst onwaarschijnlijk dat er grote aantallen grote ongelukken gebeuren zonder dat er iets wordt onthuld. Alle ernstige door de politie gemelde ongevallen, vooral ongevallen met verwondingen, zouden zeer waarschijnlijk aandacht krijgen, net als voor Autopilot.
En toch zien we ze niet. Hoewel dit geen echte wetenschappelijke analyse is, lijkt het waarschijnlijk dat het FSD-programma van Tesla momenteel het publiek niet in gevaar brengt. Dit kan worden toegeschreven aan hoe slecht het systeem is. De meeste chauffeurs weten dat het heel dom zou zijn om geen aandacht te schenken aan dit systeem in zijn huidige staat. Het is mogelijk dat naarmate het beter wordt, dit verandert. Als je kijkt naar de basiscruisecontrol, die veel primitiever is, werkt het omdat niemand tijdens het gebruik niet op de weg zou durven letten.
ADVERTENTIE
Tesla's naamgeving
Tesla helpt zichzelf niet met zijn productnamen. Velen zijn kritisch geweest over Autopilot als naam, omdat de (valse) publieke perceptie is dat autopiloten van vliegtuigen het vliegtuig alleen besturen. In feite is een automatische piloot van een vliegtuig een enorm, veel eenvoudiger systeem dan Tesla's Autopilot, en het werkt alleen omdat je in de lucht ver verwijderd bent van alles wat je zou kunnen raken. Dat stopt echter niet de valse publieke perceptie. Met FSD is het nog erger. Het is nog niet op het niveau van zelfrijdend, zelfs niet in de buurt, en het is zeker niet "vol". Deze verwarring leidde ertoe dat Waymo het gebruik van de term zelfrijdend om hun product te beschrijven opgaf, uit angst dat Tesla de term in de publieke opinie verkeerd had gedefinieerd.
Tesla heeft niet echt meer hype nodig voor hun producten. Ze verkopen alles wat ze kunnen maken. Het is verbijsterend dat ze opzettelijk met deze namen gaan in plaats van te onderdrukken en te veel te leveren. Ze zouden zichzelf een hoop leed besparen - behalve dat van het soort "alle publiciteit is goede publiciteit".
Dus is het oké als een Tesla een dummy ter grootte van een kind raakt?
Het verrassende antwoord is "waarschijnlijk". Alle testprototypesystemen zullen dit soort dingen doen, en afgezien van het verbieden van het testen van prototypes, is er geen manier om perfectie te eisen, zelfs niet bij zo'n suggestieve kwestie als crashes met kinderen. Het is moeilijk om een regelgevend regime op te stellen dat Tesla FSD zou verbieden dat ook de ontwikkeling van zeer belangrijke technologie die op termijn miljoenen levens zal redden, verbiedt of vertraagt. Miljoenen levens is geen kleinigheid, het zal een van de grootste vooruitgangen op het gebied van veiligheid in de menselijke geschiedenis zijn.
ADVERTENTIE
We zouden hoogstens kunnen proberen om dingen zo te definiëren dat degenen die toezicht houden op dergelijke testsystemen aan bepaalde criteria voldoen. We zouden kunnen aandringen dat ze beter toezicht krijgen (wat Tesla doet). We zouden kunnen vragen of ze professioneel zijn of een test doorstaan, maar dan zouden we een instantie creëren die deze tests definieert en afdwingt, wat omslachtig zou zijn. Je kunt rij-instructeur worden door gewoon een schriftelijke test te halen en een certificaat van goede gezondheid te behalen, er wordt geen live vaardigheidstest gedaan.
Desalniettemin zouden we een reeks regels kunnen definiëren voor wie toezicht kan houden op een prototypesysteem, en het zou de activiteit van Tesla kunnen stoppen. Maar om dat te doen, zou in de paradox vervallen van "hoe beter het is, hoe meer we het niet leuk vinden." We willen het niet moeilijker maken om die vallei over te steken om een beter systeem te worden. De echte vraag is waarom we er überhaupt heen zouden willen als er niemand gewond raakt. Op dit moment zijn er geen meldingen van mensen die gewond zijn geraakt, zeker niet op een niveau dat zou aangeven dat er meer risico is dan dat van gewoon rijden. We willen niet in de val lopen om dingen te verbieden omdat we intuïtief zijn dat ze gevaarlijk zijn. We willen alleen dingen verbieden die echt gevaarlijk zijn.
Het is goed mogelijk dat het testen van Tesla FSD later te gevaarlijk wordt. Dit kan gebeuren als gevolg van zelfgenoegzaamheid in de automatisering of wijzigingen in het systeem. Het is redelijk dat Tesla wordt gevraagd om aan de autoriteiten te melden hoeveel incidenten er plaatsvinden tijdens het testen van het systeem, zodat we kunnen weten of en wanneer het gevaarlijk wordt. O'Dowds benadering van "we zouden dit moeten verbieden omdat het mij gevaarlijk lijkt" is de verkeerde, althans in de VS.
ADVERTENTIE
Bron: https://www.forbes.com/sites/bradtempleton/2022/08/25/the-argument-over-whether-tesla-fsd-will-run-over-a-child-or-dummy-child- mist het punt/