En ny expertrapport beställd av Kaliforniens guvernör slår fast att de stora techbolagens egen granskning av sina AI-modeller är ”helt otillräcklig”. Författarna kräver att oberoende tredje parter får i uppdrag att säkerhetstesta tekniken för att identifiera och hantera de allvarliga risker som den medför.
En tung expertgrupp, ledd av forskare från Stanford och Berkeley, har på uppdrag av Kaliforniens guvernör Gavin Newsom utrett hur delstaten bör reglera de allt kraftfullare AI-modellerna. Resultatet är en 52-sidig rapport som publicerades på tisdagen och som manar till skärpt kontroll.
Rapporten kommer efter att Newsom förra året lade in sitt veto mot ett lagförslag som syftade till att reglera alla stora AI-modeller. Guvernören ansåg att lagen var för onyanserad och gav istället forskargruppen i uppdrag att ta fram ett alternativt förslag som balanserar innovation med nödvändiga skyddsåtgärder.
Enligt rapportförfattarna har AI-utvecklingen gått så snabbt att riskerna har ökat markant sedan vetot i höstas. De pekar särskilt på växande bevis för att modellerna kan bidra till utvecklingen av kemiska, biologiska och nukleära vapen.
Rapportens huvudkritik riktas mot den nuvarande ordningen där AI-företag som OpenAI, Google och Anthropic i hög grad ansvarar för sina egna säkerhetsutvärderingar. ”Utvecklarna är helt enkelt otillräckliga för att fullt ut förstå tekniken och, i synnerhet, dess risker och skadeverkningar”, skriver författarna.
Lösningen, enligt experterna, är ett system som kräver granskning av oberoende, externa utvärderare. De menar att tusentals individer utanför företagen har den mångfald och expertis som krävs för att upptäcka svagheter som utvecklarna själva missar.
Ett stort hinder är dock techbolagens ovilja att ge utomstående den djupa tillgång till modellerna som krävs för meningsfulla tester. Rapporten lyfter ett exempel där företaget Metr, som anlitats av OpenAI för säkerhetstester, uppgav att de inte fick tillräckligt med tid eller tillgång för att göra en robust bedömning av en ny AI-modell.
För att möjliggöra oberoende granskning föreslår rapporten ett rättsligt skydd, en så kallad ”säker hamn”, för forskare som upptäcker och rapporterar säkerhetsbrister. Detta för att förhindra att företag använder sina användarvillkor för att hota eller vidta rättsliga åtgärder mot oberoende granskare.
Rapporten publiceras i ett läge där det på federal nivå i USA diskuteras ett tioårigt stopp för delstater att stifta egna AI-lagar. Enligt en av rapportens författare, Scott Singer, kan Kalifornien nu i stället leda en harmonisering mellan delstaterna för att skapa en gemensam standard för AI-reglering, skriver The Verge.