Jak pech to pech. Wczoraj około godziny 20 data center Amazonu w Dublinie, z którego korzystało między innymi AdTaily wypadło z gry, gdy piorun wysadził w powietrze pobliski transformator odcinając je od zasilania. Trzasnęło tak mocno, że – jak wyjaśnia Amazon – dostał również system kontroli fazy, co uniemożliwiło automatyczny start zapasowych generatorów. 

Problemy nie ograniczyły się do data center Amazonu, ponieważ dostało się m. in. Business Productivity Online Suite stojącemu w pobliskim data center Microsoftu. Naprawy w Dublinie możecie obserwować na stronie statusu Amazon.

Jak dowiedziałem się od Anny Ryś – community managera AdTaily – przywrócenie serwisu po awarii może potrwać jeszcze kilka godzin.

Na Facebooku, AdTaily pisze:

1) Pracujemy and wznowieniem pracy serwera i przywróceniem wszystkich usług – może to zająć od kilku do kilkunastu godzin.
2) Uszkodzona została infrastruktura serwerowni Amazona w Dublinie, z której korzystamy. Dysponujemy spójnymi danymi, które będziemy powoli odtwarzać.
3) Kampanie reklamowe są opłacane za liczbę dni emisji; jeśli przerwa się przedłuży to będziemy zwiększać czas trwania kampanii.

Czekam otrzymałem własnie na odpowiedź, czy AdTaily przyjmie odpowiedzialność za efekty awarii. Tzn. czy i w jaki sposób zrekompensuje wydawcom utracone zyski, a reklamodawcom straconą ekspozycję.

AdTaily od samego początku korzysta z cloud-computing, czyli serwerów, które wynajmowane są od posiadaczy wielkich serwerowni. Niektóre z naszych serwerów wynajmujemy od Amazon.com, które fizycznie zlokalizowane są w Stanach oraz Europie.

W wyniku uderzenia pioruna, wczoraj miała miejsce awaria serwerowni Amazon w Dublinie, gdzie znajdują się niektóre z naszych serwerów przez co zablokowany był do nich dostęp. Amazon powoli odblokowuje dostęp do serwerów, a my w tym czasie zajmujemy się odtwarzaniem danych z kopii zapasowych. W przeciągu kilku godzin świadczenie usług powinno być wznowione.

Dane naszych użytkowników takie jak historia zamówień kampanii lub historia transakcji są bezpieczne. Ponieważ reklamy w AdTaily kupowane sa na dni emisji to emisja reklam zostanie automatycznie przedłużona, stąd ani wydawcy, ani reklamodawcy nie poniosą strat, bo usługa emisji reklam po prostu nie była w tym czasie realizowana.

Jeśli chodzi o naszą odpowiedzialność to zawsze staramy się trzymać najwyższy poziom świadczonych usług, jednak czasem siła wyższa nam to utrudnia. Nasz regulamin mówi wprost o tym jaka jest nasza odpowiedzialność:

10 Przerwy techniczne
1.AdTaily jest uprawnione do czasowej przerwy w świadczeniu usług objętych niniejszym Regulaminem z przyczyn technicznych. AdTaily dołoży najwyższej staranności, aby wskazane wyżej przerwy miały miejsce w godzinach nocnych i trwały możliwie najkrócej. Przerwy w świadczeniu usług z przyczyn technicznych nie mają wpływu na ocenę wykonania przez AdTaily zobowiązań z tytułu publikacji Reklamy.
2.AdTaily nie ponosi odpowiedzialności wobec Klientów za niewykonanie lub nienależyte wykonanie usług z przyczyn leżących po stronie osób trzecich (w tym operatorów sieci telekomunikacyjnych) ani spowodowanych działaniami siły wyższej.

AdTaily znów działa. A jednak nie. :)

Spodobał Ci się tekst? Poleć znajomym:

iStore

iStore

  • Zahariash

    Co to za CC, skoro nie rozproszyli infrastruktury? Używają Amazona jako zwykłych VPS’ów („czyli serwerów, które wynajmowane są od posiadaczy wielkich serwerowni”) a Cloud Computing używają jako lep na klientów, bo jak widać infrastruktura padła przez awarię jednej serwerowni. Ich błąd. Może czegoś się nauczą.

  • Witek

    Ciekaw jestem, co by UOKiK powiedział na ów punkt o braku odpowiedzialności. Mam wrażenie, że to jest klauzula abuzywna.

    • http://komunikacjajestdlaludzi.blogspot.com/ Zonk

      Witek: Ciekaw jestem, co by UOKiK powiedział na ów punkt o braku odpowiedzialności. Mam wrażenie, że to jest klauzula abuzywna.

      Zgadzam się.
      Wystarczy ich zgłosić.
      Trzeba było ubezpieczyć się od następstw zdarzeń losowych !

  • http://status.adtaily.pl Jakub Krzych

    @Zahariash: masz rację, to jest nasz błąd i rzeczywiście życie uczy, aby bardziej rozpraszać serwery. Ale tutaj mówimy o awarię całej serwerowni, więc trzeba by było serwery wynajmować po obu stronach oceanu na raz. Z drugiej strony skoro już piorun uderzył w tą serwerownie w Dublinie, gdzie były nasze serwery to prawdopodobieństwo, że będzie kolejna taka awaria jest dość małe, więc powinniśmy być bezpieczni przez kolejne kilkaset lat :P

    • http://podstawy-inwestowania.pl/ Paweł Choiński

      „Ale tutaj mówimy o awarię całej serwerowni, więc trzeba by było serwery wynajmować po obu stronach oceanu na raz.”

      No to już chyba nie jest Cloud Computing. Taki CC to ja mam na lokalnym serwerze w domu.

  • Witek

    Nie miało się w szkole podstaw rachunku prawdopodobieństwa?

    Jakub Krzych: Z drugiej strony skoro już piorun uderzył w tą serwerownie w Dublinie, gdzie były nasze serwery to prawdopodobieństwo, że będzie kolejna taka awaria jest dość małe

  • Przemo

    Cenię sobie adtaily, gdyż mogę zablokować je prostá regułką! Na prawdę polecam:d

  • http://komunikacjajestdlaludzi.blogspot.com/ Zonk

    Wedle Webhosting, w dupę dostał również Makro$yf i jego Azure.
    A Zuckerberg i Google śmieją się do rozpuku !

    • Andrew

      Taa, Zuckerberg pośmieje się 5…

  • http://status.adtaily.pl Jakub Krzych

    @Witek: c’mon pioruny nigdy nie uderzają dwa razy w to samo miejsce :P

  • http://status.adtaily.pl Jakub Krzych

    Przy okazji to uruchomiliśmy stronę AdTaily. Status. http://status.adtaily.pl/ gdzie informujemy o stanie awarii. Wkrótce powinny też się odświeżyć DNSy i stare adresy powinny przekierowywać również na tę stronę.

    • Andrew

      To jest po prostu skandal, jak można popełnić taki błąd i nie rozdzielić serwisu chociażby na 2 serwerownie.

      Piorun może uderzyć kilka razy w to samo miejsce, ok prawdopodobieństwo jest małe, ale mając infrastrukturę w 2 serwerowniach staje się znikome.

      Taka usługa powinna być dostępna 24h/7d.

  • http://antyweb.pl Grzegorz Marczak

    Jakub Krzych: Przy okazji to uruchomiliśmy stronę AdTaily. Status. http://status.adtaily.pl/ gdzie informujemy o stanie awarii. Wkrótce powinny też się odświeżyć DNSy i stare adresy powinny przekierowywać również na tę stronę.

    dobry ruch

  • http://komunikacjajestdlaludzi.blogspot.com/ Zonk

    Niech no nam Pan Premier stworzy w końcu drugą Irlandię, to może w końcu jakiś zabłąkany piorun pier..lnie w Wiejską ! XD

    • http://komunikacjajestdlaludzi.blogspot.com/ Zonk

      Najlepiej w czasie obrad >8[

  • http://tosiek.pl/ tosiek

    Bo chmur trzeba umieć używać :) Bitomat.pl też miał awarię na chmuirce Amazonu:
    http://niebezpiecznik.pl/post/awaria-bitomat-pl-polacy-stracili-swoje-bitcoiny/
    Amazon się nie popisuje.

    • http://www.facebook.com/trasz Edward Tomasz Napierała

      W przypadku Bitomatu to nie była awaria, tylko niedoinformowanie właściciela serwisu, który nie doczytał, jak działa wykorzystywana przez niego usługa.

  • Zahariash

    Jakub Krzych: @Zahariash: masz rację, to jest nasz błąd i rzeczywiście życie uczy, aby bardziej rozpraszać serwery. Ale tutaj mówimy o awarię całej serwerowni, więc trzeba by było serwery wynajmować po obu stronach oceanu na raz.

    Tak, trzeba było wynajmować serwery po dwóch stronach oceanu. Dodatkowo moznaby mieć ze dwa w różnych miastach europejskich. Przecież Amazon oferuje naprawdę spory wybór. To jakiś problem? :>

    Jakub KrzychZ drugiej strony skoro już piorun uderzył w tą serwerownie w Dublinie, gdzie były nasze serwery to prawdopodobieństwo, że będzie kolejna taka awaria jest dość małe, więc powinniśmy być bezpieczni przez kolejne kilkaset lat :P

    Karą za takie myślenie jest kolejna awaria za parę dni. Prawo Murphiego… ;)

  • Zahariash

    tosiek: Bo chmur trzeba umieć używać :) Bitomat.pl też miał awarię na chmuirce Amazonu:
    http://niebezpiecznik.pl/post/awaria-bitomat-pl-polacy-stracili-swoje-bitcoiny/
    Amazon się nie popisuje.

    Amazon nic nie ma do tego. Daje tylko/aż infrastrukturę. To od klienta zależy co z nią zrobi. Niestety wielu klientów nie zaprząta sobie głowy projektowaniem infrastruktury, bo przecież co im się może stać, skoro to Amazon? A potem jest płacz i nocki w pracy ;)

  • http://status.adtaily.pl Jakub Krzych

    Andrew: To jest po prostu skandal, jak można popełnić taki błąd i nie rozdzielić serwisu chociażby na 2 serwerownie.Piorun może uderzyć kilka razy w to samo miejsce, ok prawdopodobieństwo jest małe, ale mając infrastrukturę w 2 serwerowniach staje się znikome.Taka usługa powinna być dostępna 24h/7d.

    @Andrew: masz absolutną rację; nie dopilnowaliśmy tego. Będziemy wyciągać wnioski z tej awarii i dywersyfikować ryzyko pomiędzy różne regiony i dostawców.

    Zahariash:
    Tak, trzeba było wynajmować serwery po dwóch stronach oceanu. Dodatkowo moznaby mieć ze dwa w różnych miastach europejskich. Przecież Amazon oferuje naprawdę spory wybór. To jakiś problem? :>
    Karą za takie myślenie jest kolejna awaria za parę dni. Prawo Murphiego… ;)

    Mówisz o prawie serii? Zadbamy o to, żeby nie zadziałało.

  • anemus

    No tak, rozpraszać serwerownie…
    Tylko wtedy koszta rosną drastycznie i całość przestaje się opłacać. Tu dochodzimy do podstawowego problemu z chmurami. Nie będę powtarzał sloganu „a nie mówiłem”

  • http://status.adtaily.pl Jakub Krzych

    Tomasz: Często popełniany błąd, nawet ma swoją nazwę :) http://pl.wikipedia.org/wiki/Paradoks_hazardzisty

    Ok, pogadajmy o tym; może i rzeczywiście prawdopodobieństwo tego, że drugi raz uderzy piorun w tę konkretną serwerownie jest takie samo jak za pierwszym razem, ale pytanie brzmi jakie jest prawdopodobieństwo zdarzenia, że ten sam region data center dozna awarii biorąc przecież pod uwagę, ze dla Amazon AWS to jest core business i po każdym takim zdarzeniu zmieniane są procedury, itp. To jest troche jak z postmortem po wypadku lotniczmy.

    Oczywiście dwóch pilotów w 90% załatwia sprawę, więc absolutnie zgadzam się z tezą o duplikowaniu wszystkiego.

  • Bartek

    Jakub Krzych:
    Ok, pogadajmy o tym; może i rzeczywiście prawdopodobieństwo tego, że drugi raz uderzy piorun w tę konkretną serwerownie jest takie samo jak za pierwszym razem, ale pytanie brzmi jakie jest prawdopodobieństwo zdarzenia, że ten sam region data center dozna awarii biorąc przecież pod uwagę, ze dla Amazon AWS to jest core business i po każdym takim zdarzeniu zmieniane są procedury, itp.

    Właśnie tych zmian procedur bym się bał najbardziej – podczas „ulepszania” może się zdarzyć coś czego nie przewidzieli i znów wywalą serwerownię (już raz tak mieli – ulepszali w USA North Virginia).

  • Zahariash

    Nie duplikowanie, tylko rozpraszanie. To nie to samo. Duplikowanie podnosi koszty dwukrotnie i powoduje, że w przypadku braku awarii infrastruktura się marnuje. Sprytne rozproszenie potrafi może zamknąć się w 20%-30% wzroście kosztów i skutkować całkowitą odpornością na pad jednej serwerowni. Taniocha moim zdaniem.

  • http://ddarko.org DDarko

    Dla pierwszego komentarza +1.
    Te usługi do żadna „chmura”, a nawet jeśli to lokalnie w ramach serwerowni. Taką informację powinien posiadać admin adTaily i przewidzieć awarię jednej serwerowni (nie ważne jak dużej).
    Traktować takie usługi należy jak zwykłe VPS/dedyki.

    Czy to atak DDoS, czy piorun, czy powódź. Wszystko się może wydarzyć.
    Macie nauczkę … pomyślcie na przyszłość ;)

    Na szczęście niewypłacona kasa z emisji reklam nie została stracona… bo to by było.

  • haha

    w Dublinie? takie rzeczy powinny być dobrze chronione albo zlokalizowane w innym miejscu a nie w deszczowej Ajrlandii :) no ale pomijam fakt, że Gugl ma w Ajrlandii swoje główne centrum na Europę widoczne google umieja sie chronic :D

    • Remigiusz

      Moze i deszczowa… ale wyladowania atmosferyczne zdarzaja sie niezmiernie zadko. Tego feralnego grzmotu tez nie bylo slychac.

  • Zahariash

    haha: w Dublinie? takie rzeczy powinny być dobrze chronione albo zlokalizowane w innym miejscu a nie w deszczowej Ajrlandii :) no ale pomijam fakt, że Gugl ma w Ajrlandii swoje główne centrum na Europę widoczne google umieja sie chronic :D

    Jakie rzeczy? Przecież to są tylko reklamy ;)

  • http://ekostrefa.pl Łukasz Ostrowski

    Wyobraźcie sobie moc jaką miał ten piorun, żeby zabezpieczenia takiej serverowni rozłożyć.

    • Królik

      Moc akurat nie ma nic do rzeczy. Osobiście dałem się trafić wiązką lasera o impulsach mocy >1000 MW i nic mi się nie stało (nawet nie zauważyłem, że ta wiązka tamtędy między stołami przebiegała, hehe).

  • zzz

    Koszta, „profesjonalne” Adtaily jest za tanie i za skąpe na takie zabezpiecznie…

  • wojtek

    Zasilanie to zmora serwerowni. Ostatnio awaria zasilania uziemiła na wiele godzin jedną z największych serwerowni w Krakowie. Co za tym idzie wiele popularnych stron i usługodawców takich jak np. Szara.net

  • Królik

    Jakub Krzych: Z drugiej strony skoro już piorun uderzył w tą serwerownie w Dublinie, gdzie były nasze serwery to prawdopodobieństwo, że będzie kolejna taka awaria jest dość małe, więc powinniśmy być bezpieczni przez kolejne kilkaset lat

    Był kiedyś taki żart – „Jak się zabezpieczyć przed zdetonowaniem bomby w samolocie przez terrorystę? Odp.: Samemu mieć bombę. W końcu jakie jest prawdopodobieństwo, że na pokładzie jednego samolotu znajdą się dwie bomby?”

    Niestety to tylko żart, i w rzeczywistości to tak nie działa. Polecam podstawowy kurs probabilistyki na pierwszym lub drugim roku dowolnej wyższej uczelni technicznej. Prawdopodobieństwo, że piorun walnie w drugą waszą serwerownię jest dokładnie takie samo jak przedtem ;)