Facebook

Nie zgadniecie jakiego nośnika używa Facebook do przechowywania danych

KK
Konrad Kozłowski
34

Gdy publikujemy zdjęcie na Facebooku, bardzo rzadko zastanawiamy się nad tym ile miejsca może ono zająć na serwerze i nie bierzemy pod uwagę, że średnia dziennie przybywających zdjęć to około 350 milionów! Facebook musi zmagać się z przeogromną ilością danych, które musi gdzieś pomieścić. A skoro us...

Gdy publikujemy zdjęcie na Facebooku, bardzo rzadko zastanawiamy się nad tym ile miejsca może ono zająć na serwerze i nie bierzemy pod uwagę, że średnia dziennie przybywających zdjęć to około 350 milionów! Facebook musi zmagać się z przeogromną ilością danych, które musi gdzieś pomieścić. A skoro usługa jest całkowicie darmowa i nielimitowana, to powinno nas zaciekawić w jaki sposób portal sobie z tym radzi.

Na profilu Facebook Engineering opublikowany został film prezentujący działanie systemu, który dane umieszczane na portalu nagrywa na płyty Blu-Ray (każda z nich pomieści 100GB). W momencie potrzeby dostępu do konkretnej partii danych, specjalnie zaprojektowane ramie wybiera kartridż zawierający dwanaście płyt i następuje ich odczyt. Jak na razie jest to jedynie prototyp, lecz jego możliwości robią spore wrażenie. Według zapewnień Facebooka, taki system pozwolił na zaoszczędzenie 50 procent kosztów utrzymania serwerów i 80% zużywanej energii, w porównaniu do aktualnie stosowanych rozwiązań opartych o dyski twarde.

Gdy publikujemy zdjęcie na Facebooku, bardzo rzadko zastanawiamy się nad tym ile miejsca może ono zająć na serwerze i nie bierzemy pod uwagę, że średnia dziennie przybywających zdjęć to około 350 milionów! Facebook musi zmagać się z przeogromną ilością danych, które musi gdzieś pomieścić. A skoro usługa jest całkowicie darmowa i nielimitowana, to powinno nas zaciekawić w jaki sposób portal sobie z tym radzi.

Na profilu Facebook Engineering opublikowany został film prezentujący działanie systemu, który dane umieszczane na portalu nagrywa na płyty Blu-Ray (każda z nich pomieści 100GB). W momencie potrzeby dostępu do konkretnej partii danych, specjalnie zaprojektowane ramie wybiera kartridż zawierający dwanaście płyt i następuje ich odczyt. Jak na razie jest to jedynie prototyp, lecz jego możliwości robią spore wrażenie. Według zapewnień Facebooka, taki system pozwolił na zaoszczędzenie 50 procent kosztów utrzymania serwerów i 80% zużywanej energii, w porównaniu do aktualnie stosowanych rozwiązań opartych o dyski twarde.

Zaprojektowany przez Facebooka system prawdopodobnie zostanie upubliczniony poprzez Open Compute Project, który zapoczątkowany został przez niewielki zespół inżynierów portalu społecznościowego. Na ten moment nie zapadła jednak decyzja o tym, która część informacji stanie się ogólnodostępna. Sam system jest bardzo ciekawym podejściem do rozwiązań typu "cold storage" pozwalających na przechowywanie danych na mniej wydajnych nośnikach, do których dostęp jest wolniejszy, lecz celem nadrzędnym jest w takich przypadkach zredukowanie kosztów.

Olbrzymia liczba zdjęć opublikowanych na Facebooku cieszy się popularnością tylko przez określony czas. Po tym okresie powwracamy do nich epizodycznie, a jednak Facebook ma niejako obowiązek wszystkie je przechowywać. Nic więc dziwnego, że zaangażowanie ze strony Facebooka w znalezienie taniego i efektywnego sposobu na gromadzenie tych danych jest tak ogromne. Opisany powyżej system umożliwia aktualnie na przechowywanie aż do 30 petabajtów danych (1 petabajt to 1024 terabajty). Na przestrzeni najbliższych miesięcy celem Facebooka jest magazynowanie w ten sposób aż 150 petabajtów. Wygląda jednak na to, że takie rozwiązanie jest tylko tymczasowe, gdyż Facebook nadal wiąże przyszłość z energooszczędną pamięcią typu flash.

Zdjęcie tytułowe: venturebeat.

Zaprojektowany przez Facebooka system prawdopodobnie zostanie upubliczniony poprzez Open Compute Project, który zapoczątkowany został przez niewielki zespół inżynierów portalu społecznościowego. Na ten moment nie zapadła jednak decyzja o tym, która część informacji stanie się ogólnodostępna. Sam system jest bardzo ciekawym podejściem do rozwiązań typu "cold storage" pozwalających na przechowywanie danych na mniej wydajnych nośnikach, do których dostęp jest wolniejszy, lecz celem nadrzędnym jest w takich przypadkach zredukowanie kosztów.

Olbrzymia liczba zdjęć opublikowanych na Facebooku cieszy się popularnością tylko przez określony czas. Po tym okresie powwracamy do nich epizodycznie, a jednak Facebook ma niejako obowiązek wszystkie je przechowywać. Nic więc dziwnego, że zaangażowanie ze strony Facebooka w znalezienie taniego i efektywnego sposobu na gromadzenie tych danych jest tak ogromne. Opisany powyżej system umożliwia aktualnie na przechowywanie aż do 30 petabajtów danych (1 petabajt to 1024 terabajty). Na przestrzeni najbliższych miesięcy celem Facebooka jest magazynowanie w ten sposób aż 150 petabajtów. Wygląda jednak na to, że takie rozwiązanie jest tylko tymczasowe, gdyż Facebook nadal wiąże przyszłość z energooszczędną pamięcią typu flash.

Zdjęcie tytułowe: venturebeat.

Hej, jesteśmy na Google News - Obserwuj to, co ważne w techu

Więcej na tematy:

Facebook