Facebook verzamelt 500 terabyte per dag van gebruikers

De 950 miljoen Facebook-gebruikers spenderen gemiddeld zo'n 6,5 uur per maand op de social networksite. Alle handelingen die zij doen genereren data die Facebook opslaat, om pagina's actueel te houden, maar ook om gedrag te analyseren. Samen komt dit neer op zo'n 500 terabyte aan gegevens die Facebook per dag opslaat in zijn rekencentra.

Redactie AG ConnectMeer van deze auteur

Tech & Toekomst — Shutterstock

Shutterstock

Hieronder een lijstje met daggemiddelden:

2,5 miljard aanpassingen aan de inhoud van site
300 miljoen nieuwe foto's geplaatst
70.000 zoekopdrachten.
105 terabyte aan data gescand elk half uur
2.7 miljard 'Likes' geplaatst.

In totaal beheert Facebook zo'n 100 petabyte aan informatie in een enkelvoudig Hadoop-cluster. Met deze open source Big Data-technologie probeert Facebook wegwijs worden in die onvoorstelbare hoeveelheden gegevens. De cluster loopt inmiddels tegen zijn grenzen aan. Daarom heeft Facebook het project Prism in het leven geroepen.

Project Prism moet Hadoop-beperking omzeilen

Om Hadoop goed te laten werken moeten de servers naast elkaar staan. Met de groei van de omvang van de opslag komt snel het punt in zicht dat een enkel datacentrum te klein is. Project Prism is er op gericht geografisch gespreide datacentra te laten werken als één groot datapakhuis waar de Big Data-software mee overweg kan.

Facebook gaf gisteren nog slechts kleine aanwijzingen hoe het bedrijf dat in Project Prism regelt, maar beloofde binnenkort in een blog met meer uitgewerkte details te komen, want het hele project komt als open source beschikbaar.