Coverity Scan Report: Kwaliteit van open source omhoog

Projectteams die hun software laten testen met Coverity's scan verhielpen in 2013 rond de 50.000 defecten in hun software. Dat is meer dan tot nog toe in alle jaren dat Coverity opensourcesoftware aan analyses onderwerpt. Het begon in 2006 met de Coverity Scan, in een publiek-private samenwerking met het Amerikaanse ministerie van Defensie.

Redactie AG ConnectMeer van deze auteur

Tech & Toekomst — Shutterstock

Shutterstock

De enorme toename in geconstateerde en vervolgens verholpen defecten duidt niet op toenemende kwaliteitsproblemen. Het is simpelweg de weerspiegeling van een enorme toestroom aan deelnemende opensourceprojecten. Onder andere dankzij de toevoeging van Java in de testservices steeg dat aantal van een kleine 300 begin 2013 naar 1500 in maart van dit jaar.

Uitstekend

Bij de meeste projecten blijft het aantal fouten per 1000 regels code dik onder de 1; daarmee kwalificeert de software zich als van uitstekende kwaliteit. Het Coverity Scan Report 2013 vergelijkt voor C/C++-projecten de kwaliteit met commerciële, gesloten software. Daaruit blijkt dat de foutendichtheid bij de opensourceprojecten lager ligt dan in commerciële software: .59 om .72. In de commerciële software werden in 2013 bijna 800.000 defecten verholpen, in opensourcesoftware bijna 45.000.

Aan het eind van 2013 zaten in de commerciële C/C++-software nog bijna 500.000 bekende fouten, in de opensourcesoftware geschreven in C/C++ 150.000. Daarbij moet wel opgemerkt worden dat de commerciële toepassingen gemiddeld een stuk groter waren dan de opensourcetegenhangers, wat reden is voor enige voorzichtigheid bij de interpretatie van deze cijfers. Maar ook bij projecten met meer dan een miljoen regels code scoort in C/C++ geschreven open source beter waar het gaat om aantal fouten per 1000 regels code.

Java

Bij Java-projecten constateerde Coverity hogere aantallen defecten per 1000 regels code. Dat kan deels liggen aan verschillen in de testen, zegt Coverity, maar zal voor een deel ook verklaard worden door het feit dat Java-projecten nu pas voor het eerst getest zijn met Coverity's tests; de ervaringen daarmee verhogen in de regel de oplettendheid van de programmeurs.

Gemiddeld kwamen de Java-projecten op een foutdichtheid van 2,72 per 1000 regels code. Apache CloudStack bleek een negatieve uitschieter, met 6,96 defecten per 1000 regels code. Ook de database bij Hadoop, HBase, scoorde hoog, met een foutdichtheid van 2,33. Dat is natuurlijk wel beter dan gemiddeld voor een Java-project. En Hadoop zelf scoorde nog beter, met 1,71 fout per 1000 regels code.

Het rapport is tegen achterlating van naam, e-mail en telefoonnummer zonder betaling te downloaden op de site van Coverity.