Gemini 4 Carbon når 71 procent i test av säker kod
CWE-bench bekräftar resultatet. Googles övriga säkerhetssiffror kräver mer underlag för att kunna jämföras med andra modeller.
Gemini 4 Carbon når 71 procent i säkerhetstestet CWE-bench. Det är ett resultat för att granska och laga kod, inte ett mått på hur stor andel av alla säkerhetshål modellen klarar. Skillnaden är viktig för den som överväger att låta en AI-agent arbeta i företagets kodbas.
Google presenterade Carbon den 28 oktober och lyfter fram förbättringar inom programmering och cybersäkerhet. I lanseringen anger bolaget också 88,2 procent i SEC-bench Pro för att hitta sårbarheter och 54,8 procent i ExploitGym för att utnyttja dem. Google skriver att dessa externa tester kördes utan skyddsräcken, alltså modellens begränsningar för vilka uppgifter den får utföra.
Fyra försök ger två olika mått
CWE-benchs egen tabell bekräftar 71 procent för Carbon och 68 procent för föregångaren Argon. Testet omfattar 120 uppgifter. Varje modell får fyra separata körningar per uppgift, med en timmes tidsgräns per körning.
Måttet pass@1 beskriver den genomsnittliga framgången för ett enskilt försök, beräknad från körningarna. Det ska inte läsas som att bara det första försöket räknades. Pass@4 anger i stället om minst ett av fyra försök lyckades. Där får Carbon 81 procent i den automatiska kontrollen.
Modellerna jämförs dessutom tillsammans med olika arbetsverktyg. Carbon körs med Antigravity, medan andra modeller använder andra verktyg. Tabellen jämför därför kombinationer av modell och arbetsmiljö. Den isolerar inte enbart språkmodellens bidrag.
För ett säkerhetsteam är det en påminnelse om vad som behöver följa med en jämförelse: vilken kod agenten fick, vilka verktyg den kunde använda och hur länge den fick försöka. En procentsiffra utan de uppgifterna är ett svagt underlag för att välja ett arbetssätt.
Alla lanseringssiffror går inte att jämföra direkt
Den öppna SEC-bench Pro-tabellen beskriver upptäckt av sårbarheter och framtagning av kod som demonstrerar dem. Vid kontrollen den 2 november fanns Carbon inte med i tabellen. Googles uppgift om 88,2 procent kan därför återges som bolagets resultat, men inte som en placering som den öppna tabellen bekräftar.
Det betyder inte i sig att siffran är fel. Det betyder att underlaget för en direkt jämförelse saknas där. Att plocka Googles procenttal och ställa det bredvid en annan modells resultat utan samma testversion och villkor skulle ge en säkerhet som källorna inte stödjer.
Vår bedömning är att resultaten motiverar ett avgränsat försök med kodgranskning. De motiverar inte att egna kontroller tas bort. Nästa användbara besked är ett jämförbart resultat med redovisad arbetsmiljö och kostnad per löst uppgift, följt av belägg för hur lösningarna fungerar i den kod som faktiskt ska skyddas.