Patrząc na wyniki Megapanelu widzimy, że jeśli chodzi o odsłony to czołówka raczej się nie zmienia a serwis fotka.pl zawsze w tej czołówce zajmuje jedno z wyższych miejsc
Jeśli spojrzymy na ilość odsłon jakie generują najpopularniejsze serwisy internetowe to zobaczymy liczby przekraczające miliardy. Zawsze zastanawiałem się jaka duża infrastruktura potrzeba jest do utrzymania takiego ruchu. O ile w przypadku portali, trudno by było się doliczyć ile serwerów i jakie koszty utrzymania związane są z pojedynczym serwisem o tyle w przypadku na przykład fotka.pl możemy uzyskać bardzo konkretne odpowiedzi.
Majowy megapanel – ilość odsłon
Zapytałem Rafała z fotka.pl jaka infrastruktura jest potrzeba do utrzymania takiego ruchu jak w tej chwili osiąga jego serwis – oto kilka ciekawych informacji na ten temat:
Serwery fotka.pl
…Mamy obecnie 3 szafy sprzętu w tym 2 prawie pełne. W zależności od
potrzeb dodajemy ok. kilkunastu maszyn miesięcznie (tak jest w
ostatnich miesiącach kiedy ruch rośnie najszybciej). Przeciętna
maszyna ma 2 procesory Opterony dualcore, 8GB RAMu i dyski SAS (rożni
się to oczywiście w zależności od zastosowania)
-
…Jesteśmy prawdopodobnie jednym z największym klientów Amazon S3 w Europie -
co miesiąc generujemy transfer na poziomie kilkudziesięciu terabajtów
-
…Obecnie pracujemy nad zbudowaniem własnej infrastruktury do
serwowania plików podobnej w działaniu do Google File System -
umożliwiającej skalowanie poprzez dodawanie nieograniczonej ilości
stosunkowo tanich serwerów.
Widać teraz dlaczego oprócz dobrego pomysłu na serwis potrzebny jest równie dobry pomysł na na jego utrzymanie. Kilka powyższych informacji na temat infrastruktury fotka.pl pokazują, że jest to koszt z, którym na pewno należy się liczyć i brać pod uwagę przy wszelkiego rodzaju biznes planach.
Edit: Dodałem zdjęcie z serwerowni oraz poprawiłem kilka nieścisłości w tekście.
Witaj, nazywam się Grzegorz Marczak i jestem autorem tego bloga. Piszę tutaj o serwisach społecznościowych, nowych technologiach i nowych trendach w internecie.
Wow, te dane powalają.
News sponsorowany?
Ciekawe. Nigdy nie słyszałem o Amazon jako hostingu. Trzeba sprawdzić ich cenniki.
@Apple – to nie wiedziałeś, że antyweb.pl jest sponsorowany przez wszystkie największe serwisy, a moje sportowe auta nie mieszczą już się w garażu.
Tak na poważnie to moim zdaniem taka informacją jest ciekawostką niezależnie od tego jakiego serwisu dotyczy.
A jak wygląda kwestia programowania witryny? Jaka technologia jest stosowana, jakie rozwiązanie bazodanowe? Oracle?
następny głupi atak ze strony ‘Apple’. Człowieku jak widzisz ten blog pisze o internecie i ciekawostkach ze stron www. I ten tekst w żadnym wypadku nie potraktowałem jako reklamę tylko doskonałą ciekawostkę dzięki której będę bardziej orientował się co trzeba mieć aby utrzymać tak potężną stronę xD
@bolek – ja nie odebrałem wypowiedzi Apple jako ataku więc proszę bez nerwów.
@wk:
Podstawę stanowi tandem PHP/MySQL.
Oracle w ogóle nie wykorzystujemy.
bolek: A jaki był wcześniejszy “atak” z mojej strony?
Mam pytanie do Hazana: Ile generuje odsłon Twój blog (miesięcznie, dziennie?)? :P
Pytanie z czystej ciekawości, wiem że antyweb jest jednym z najpopularniejszych blogów w Polsce o tematyce Internet i jestem bardzo ciekaw.
takich newsów mi brakuje :) więcej poproszę, nie tylko o sprzęcie ale ogólnie o prowadzeniu dużych (i średnich) stron… pozdrówki!
a co do amazona – czy oni nie mają jakiegoś systemu składania usług hostingowych z ‘klocków’? coś kiedys czytałem na ten temat i bardzo ciekawie się to prezentowało (szczególnie dla dużych stron gdzie liczy się rozliczenie każdego cyklu procka, wykorzystania ramu itd)
@anonim – pisałem już o tym kilka razy – poszukaj.
@Michał Sadowski:
usługa Amazona S3 jest dość znana. Wiele serwisów korzysta z ich usług do przechowywania plików:
http://www.amazon.com/gp/browse.html?node=16427261
Artykuł ciekawy – choć jak dla mnie za mało szczegółów. Np. jakie duże są te szafy i ile kompów się w nich mieści ?:) Ogólnie fotka znana jest z tego że do “demonów” prędkości nie należy. W przeszłości w związku z tym wprowadzali różne dziwne ograniczenia (bodaj np. na ilość komentarzy itp). Nie wiem jak ostatnio ale jeszcze niedawno gdy próbowałem korzystać z fotki i “lagi” były wały straszliwe.
Ciekawi mnie też po co w ogóle im jakieś serwery – skoro korzystają z Amazon S3 to chyba powinno to załatwić całkiem infrastrukturę hostującą.
Ale mimo to news super – więcej takich informacji jeśli można prosić :)
w kazdej szafie mieszcza sie standardowo 42 serwery 1U /z tego pare U odpada na switche, loadbalancery itd/.
korzystamy z Amazon S3 do serwerwowania zdjec, ale przeciez to tylko najmniej skomplikowana czesc infrastruktury – w Polsce mamy wlasne maszyny przeznaczone na serwery WWW, bazy danych, serwery mailingowe, serwery keszujace itd.
jesli to kogos bardziej interesuje to wrzucilem krotki filmik z przykladowa szafa: http://www.youtube.com/watch?v=OubEmIyxWGs
Bardzo fajny news, ale moze podacie troche wiecej informacji ? Np. jakiego OS’a uzywacie, gdzie te serwery sie znajduja i do jakiego lacza sa podpiete itp. ? Takie ciekawostki sie bardzo dobrze czyta :D
Pozdrawiam
Nasze podstawowe srodowisko to Solaris, na ktorym stoja prawie wszystkie uslugi. Serwery znajduja sie w datacenter Atman – kilka pomieszczen od maszyn Gadu-Gadu, Grona czy Sciagi. Podstawowe lacze to niecale 100Mbit czyli nie tak znowu duzo bo mamy bardzo mocno skompresowane strony /wystarczy zerknac do zrodla – wszystko parsuja pliki XSL juz po stronie uzytkownika, w przegladarce/. Pliki statyczne trzymamy na wynajmowanych serwerach we Francji lub serwujemy z S3. Calosc plikow jest mocno rozproszona bo przy prawie 70 milionach odslon kazdego dnia typowy serwer ledwo wystarcza do serwowania pojedynczego pliku CSS.
Co wiecej? Staramy sie jak najmniej uzywac dyskow twardych – sa zbyt wolne jak na nasze potrzeby /tysiace zapytan na sekunde/. Gdzie sie da uzywamy wiec RAMu ktory jest kilkadziesiat razy szybszy ale tez niestety duzo drozszy /czasem pamiec do serwera kosztuje wiecej niz sam dwuprocesorowy serwer/.
Fajnie dowiedzieć się czegoś o “bebechach” takiego serwisu jak fotka. Wykorzystując okazję (o ile da :)) zapytam: jakiej bazy danych używacie (bo serwer WWW o ile się nie mylę to Apache) ? Czy baza danych i serwer www to standardowa dystrybucja oprogramowania czy też może jest ona wzbogacona przez jakieś wasze własne “dopalacze” ?
Jaki rozmiar ma baza danych ? Czy jest ona umieszczona na jednej maszynie ? Jak sprawuje się w praktyce Amazon S3 (czy może bywają z nim jakieś kłopoty związane choćby z dostępnością z terenu naszego kraju) ?
A co do wydajności fotki -to chyba muszę zweryfikować moje wcześniejsze (ciutkę negatywne) doświadczenia. Odwiedziłem dziś z ciekawości i serwis śmiga jak należy – chyba kolejne serwery spełniają swoje zadanie:):)
ale ja nie kumciam o cio wam chodzi ;||