9. Dropbox y el éxodo de los quinientos petabytes

Soy una Tetera

Dropbox es un servicio omnipresente hoy en día, con sus más de 500 millones de usuarios en total y más de 11.5 millones de usuarios de pago. En este capítulo vemos el increíble logro tecnológico que le permitió llevarse todos sus datos de los servidores de Amazon, ahorrando más de 75 millones de dólares en el proceso.

2013

James Cowling ingeniero del MIT + Akhil Gupta antiguo empleado de Google desarrollan Magic Pocket, un sofware de almacemiento a media mucho más eficiente (para sus necesidades) que Amazon S3, y lo instalan en sus servidores de Amazon.

Agosto de 2014

Hicieron un clon de dropbox, almacenaron el 20% y se comprometieron a no pasar a producción hasta no pasar 180 días sin encontrar un bug.

Entre 30 abril y 7 octubre de 2015

Traspasaron 500 petabytes desde los servidores que tenían contratados en Amazon a los suyos propios. Para esos tuvieron que instalar entre cuarenta y cincuenta racks de ocho servidores al día, alrededor de 400 máquinas al día.

Octubre de 2015

Una vez con todos sus datos en casa, aprovecharon la experiencia de Rami Aljamal diseñando servidores para Twitter para desarrollar sus propios servidores, los Diskotech. 1 petabyte de datos (1 millón de gigabytes) almacenados en 45cm x 106cm x 15cm

Foto: Diskotech. Christie Hemm Klok/WIRED

Magic Pocket no funcionaba en los Diskotech así que tuvieron que reprogramarlo en Go, el lenguage de programación de Google. Y como vieron que el resultado consumía demasiada memoria lo volvieron a programar en Rust.

Fuentes:

• The epic story of Dropbox’s exodus from the Amazon cloud empire
• Scaling to exabytes and beyond

Bola Extra

Dropbox todavía utiliza Amazon AWS para alrededor del 10% de sus servicios. La empresa tiene tres centros de datos en Estados Unidos pero ninguno en Europa, así que utiliza recursos de AWS para atender a algunos clientes de nuestro continente.