un blog de Radu Dumitru

►► canalele mele de YouTube: youtube.com/RaduDumitru (personal) și youtube.com/NwraduBlog (tech) ◄◄

Am vizitat data centerul Bigstep din Pipera

22 Mar 2018  ·

TEHNOLOGIE  ·

34 comentarii

Am vizitat un data center din București al companiei Bigstep pentru seria mea de articole despre cum se produce / cum funcționează și, spre surprinderea mea, nu instalațiile electrice și de climatizare au fost cele mai impresionante, ci serverele în sine. S-au schimbat multe în domeniu de ultima oară când am văzut eu un server…

Să o luăm de la exterior spre interior. Data center-ul vizitat de mine se află în Pipera, la parterul uneia dintre clădirile de birouri de pe Dimitrie Pompeiu, și este un centru neutru de colocare al companiei NXdata. Asta înseamnă că NXdata asigură toată infrastructura necesară funcționării data center-ului ca tot unitar (electricitate, climatizare, redundanță, control acces și pază, monitorizare 24/7 șamd), iar ce se află în zecile de rack-uri din interiorul acestuia este treaba Bigstep.

Electricitatea este asigurată de două linii complet independente (trase separat din punctul de distribuție al companiei de electricitate), pentru redundanță N+N, adică oricare dintre ele poate susține consumul centrului de date (și chiar mai mult). Am aruncat o privire rapidă spre ecranele de monitorizare din “camera de comandă” și păreau să vină 400 de amperi pe fiecare fază în acel moment.

Fără fotografii aici, sorry! Am fotografiat doar tabloul de siguranțe din interiorul camerei cu servere, dar sunt doar o mulțime de siguranțe Moeller și cabluri groase cât degetul și platbande de împământare.

Sistemul este unul complex ce folosește transformatoare și invertoare pentru a coborî tensiunea la 12 volți pentru filtrare și eliminarea oricăror variații, apoi este urcată la un 220 VAC necesar serverelor. Dubla alimentare este dusă până la nivelul rackurilor, unde există un șir de prize roșii și unul de prize albastre, iar sursele serverelor sunt conectate la ambele, putând trece automat de pe o alimentare pe alta.

Dacă ambele linii de alimentare pică simultan (și s-a mai întâmplat asta în cazul avariilor masive de rețea), există UPS-uri ce preiau imediat consumul data centerului, iar la câteva secunde după aceea pornesc câteva generatoare diesel ce pot alimenta pe termen nelimitat totul. Furnizorul are contract cu cisterne care le pot aproviziona cu motorină.

În privința conexiunilor la Internet nu am la fel de multe date. Am reținut că au peering direct cu vreo 13 furnizori și probabil de capacitate foarte mare. Mi s-a părut interesant un alt amănunt: Bigstep oferă din acest data center în principal servicii tip big data, în care banda internă, între serverele din centru, este cea mai importantă pentru a transfera rapid cantitățile mari de informații necesare în aplicații tip big data / data mining / business intelligence șamd. Odată ce serverele întocmesc analizele solicitate, raportul trimis celui care l-a inițiat este ceva mai mic și nu necesită multă bandă externă.

Dacă faci, în schimb, un data center de hosting pentru YouTube, să zicem, ai nevoie de bandă foarte mare cu exteriorul, fiind genul de serviciu care transferă cantități mari de date.


Intrând chiar în interiorul camerei data centerului, am găsit șirurile uzuale de rack-uri în care se află servere și switch-uri de mare capacitate, plus un sistem mare de control al temperaturii. Aerul rece intră prin podeaua tehnică de sub rack-uri, iar ventilatoare din servere îl trec printre componentele hardware. Odată încălzit, aerul se ridică spre tavan, unde este aspirat de tubulatura de la acel nivel și condus înapoi spre răcitoarele marca Emerson.

În interiorul rackurilor am găsit un management frumos al cablurilor, făcut inclusiv pe culori, cu totul bine etichetat, cu senzori de temperatură șamd. În fotografia de mai jos observați ce ziceam mai sus, prizele roșii în stânga și cele albastre pe dreapta rack-ului:

Nu se vede în fotografia micșorată, dar în partea de sus sunt hard-disk-uri SAS de 600 GB, apoi urmează SSD-uri de 240 GB și SAS-uri de 2 TB:

Majoritatea conexiunilor erau de fibră optică, inclusiv între servere, după cum vă spuneam. Switch-uri de mare capacitate asigurau acest lucru cu un sistem foarte deștept de configurare a “traseelor”.

Vă spuneam de servere. Toate sunt HP și se poate vedea aici cel mai bine evoluția hardware-ului în timp. Probabil că sunteți familiarizați cu serverele ce ocupă unul sau două etaje de rack și sunt lungi cât acesta, având în interior componentele uzuale ale unui PC, adică unul sau mai multe procesoare, memorie RAM, surse, ventilatoare, unități de stocare șamd.

Sunt și acelea, desigur. Dar apoi se pot vedea servere mai mici, modulare, mai multe dintre acestea ocupând același spațiu ca un server de generație veche. Asta înseamnă o densitate mai mare, iar creșterea numărului de servere ce pot încăpea în același spațiu al unui data center este foarte importantă pentru că, după cum poate v-ați prins de mai sus, să extinzi data centerul cu o nouă cameră înseamnă o investiție mare în climatizare, alimentare electrică șamd.


(fiecare modul vertical este un server ProLiant, dacă țin bine minte)

Și apoi am văzut cea mai nouă generație, serverele HP Moonshot. Comparativ, în fotografia de mai jos vedeți în stânga un server clasic și în dreapta unul Moonshot:

Acestea încap câte 45 la număr într-o unitate 4.3 U (împreună cu două switch-uri) și sunt aproximativ la fel de performante ca un server vechi. Au procesor Intel Xeon, au patru sloturi de memorie RAM tip DDR4 cu un maxim de 120 GB per “cartuș”, iar pentru stocare cel fotografiat de mine are 5 porturi de tip M.2, din care unul SATA și celelalte patru sunt NVMe. Sunt gândite pentru SSD-uri, desigur, cu până la 4 TB per cartuș.


(aici erau instalate doar 26 de cartușe Moonshot tip m710x și două switchuri)

M-am simțit așa cum trebuie să se fi simțit cei ce-au văzut trecerea de la “computerul de dimensiunea unei camere” instalat acum mulți ani la cel de dimensiunea unei unități centrale de procesare normale. Tehnologia avansează constant și de obicei spre miniaturizare, dar abia astfel de comparații side-by-side te trezesc de fapt la realitate, la fel ca atunci când te gândești că telefonul de 9 mm grosime din buzunar este mai performant decât PC-ul de acum 5 ani, să zicem.

Moonshot mai vine cu un avantaj. Crescând densitatea serverelor din rack-uri, devine mai ușor și mai rentabil de vândut mașini fizice, nu virtuale, către clienți. Avantajul este mare inclusiv pentru client, că dispare pierderea de performanță asociată rulării unei mașini virtuale, dar prețul rămâne probabil constant.

Am văzut acolo și interfața de administrare a serviciilor. Durează, pe ceas, câteva secunde să introduci noi servere în sistem și să le interconectezi așa cum îți dorești. Totul se face într-o interfață plăcută ochiului, în stil Visio sau schemă bloc sau cum vreți să-i spuneți, în care tragi cu mouse-ul dungi între servere și instantaneu sisteme deștepte de gestiune ale serverelor le activează, instalează sisteme de operare și aplicațiile necesare, iar switchuri deștepte configurează automat porturile pentru conexiunile solicitate. Poți alege inclusiv ce să fie conectat și la Internet și cum.



    34 comentarii

  1. DC-ul Bigstep din Pipera e singurul (la acest nivel) din Romania? Mai au DC-uri în România?

      (Citează)

  2. Fara suparare, dar e cam imposibil sa ai 400A pe faza. Probabil erau volti si curentul afisat in alta parte muult mai mic.

      (Citează)

  3. La 400 a îți trebuie conductor cu diametru de 2 cm. Mai taie și tu din ei.

      (Citează)

  4. Data center in data center? Sună cam mult pentru o colocare, pentru că una e să bagi niște rackuri în clădirea altora și ăia să îți ofere tot și alta e să oferi tu tot altora.

      (Citează)

    • Xmarksthespot

      22/03/2018 la 9:38 AM

      Sunt servicii cloud, vezi UI-ul .Nu colocare.

        (Citează)

    • Ehm, ce?

        (Citează)

    • E des intalnit in industrie ca un furnizor de servicii de tip IaaS / PaaS / SaaS sa foloseasca serviciile furnizorilor de datacenter, centre de colocare (cum sunt cei de la NX-Data). Atat timp cat nu vinzi servicii de colocare nu are rost sa iti bati capul cu proiectarea si administrarea unui datacenter, costuri operationale, furnizori etc. Depinde si de tipul de business pe care il ai dar cred ca in final este mai eficient asa.

        (Citează)

    • X, colocarea se referă la faptul că hardwareul care constituie cloudul ăla sunt ținute într-un spațiu cu energie, net etc asigurate de altcineva unde sunt mai mulți clienți, separați sau nu prin pereți sau ceva.
      Și am fost în NX, ăsta fiind singurul data center din toată discuția asta.

        (Citează)

  5. Postolachi Dumitru

    22/03/2018 la 9:03 AM

    Ionut:
    Fara suparare, dar e cam imposibil sa ai 400A pe faza. Probabil erau volti si curentul afisat in alta parte muult mai mic.

    Nu știu exact despre ce vorbește Radu dar știu că nu poți avea 400V pe fază (așa cum bănuiești tu).â

    În cazul în care avem 3 faze avem următoarele 2 situații: 220V – 230V tensiunea între oricare dintre cele 3 faze și nulul de lucru, 380V – 400V tensiunea dintre faze.

    În altă ordine de idei nu exclud ca informația lui Radu să fie cât se poate de corectă: avem cabluri de curent pentru mașini care suportă 400A. Și dacă o mașină are nevoie de un asemenea curent de ce nu ar avea nevoie și un DC?

      (Citează)

    • In urma descrierii nu au cabluri de curent care suporta 400a. Alea groase cat degetul. Cat 2 degete ar fi fost la obiect.

        (Citează)

    • Cablurle descrise erau pentru un tablou de distributie al camerei e colocare. Instalatia DC-ului este conceputa pentru un curent maxim de 1600A/faza. Cablurile sunt mult mai groase. :)

        (Citează)

    • user:
      In urma descrierii nu au cabluri de curent care suporta 400a. Alea groase cat degetul. Cat 2 degete ar fi fost la obiect.

      Doar pentru că nu vedem noi uzual astfel de cabluri groase nu înseamnă că ele nu există.

      Nu înțeleg de ce vi se pare așa mult 400 de amperi. O clădire de birou sau un mall ce consum credeți că are? Cum arată cablurile lor?

      Asta lăsând la o parte ce spune Cristi B-H mai sus, adică că au tras cabluri pentru 1600 A.

        (Citează)

    • Nea Radu, nu zic că nu se poate, ba chiar cred că puterea înghițită depășește 400a, doar zic că în contextul tau cu cabluri de 1 deget și că ai văzut consum de 400a (am presupus că acolo ai văzut și cablurile) nu se pupă ceva. Trebuie cabluri mai groase.

        (Citează)

    • Acum ce să zic, am spus și eu “cât degetul” ca să zic că sunt groase. Or fi fost cât două degete…

      Oricum eu vorbeam despre tabloul de siguranțe pentru rackuri. Ventilația și restul sistemelor au alte tablouri.

        (Citează)

    • … mai ales că ăla era consumul afișat în timp real, putea să sară și la dublu probabil.

        (Citează)

  6. Eu aștept cu interes un astfel de articol despre data centerul ANAF.

      (Citează)

  7. Data centrul era în proprietatea Star Vault pe vremea când lucram în clădirea respectiva.
    Este interesant cum ce construiesc Data Centere in zone aglomerate ca Pipera, dacă l-ar fi instalat in Militari sau Ghencea ce avea ?

      (Citează)

    • Scrie in atricol cine detine si administreaza DC-ul. Hint: Nu este Star Vault

        (Citează)

    • george: Este interesant cum ce construiesc Data Centere in zone aglomerate ca Pipera, dacă l-ar fi instalat in Militari sau Ghencea ce avea ?

      Păi ce, Militari și Ghencea nu sunt aglomerate? Și poate sunt data centere și pe acolo, cine știe. Nu e ca și cum blochează traficul sau ceva, în practică nici nu știi că în acele camere sunt servere și nu altceva.

        (Citează)

  8. E cumva o eroare aici “BigData oferă din acest data…” ? BigData = BigStep?

      (Citează)

  9. Servere tip blade au toti producatorii in oferta, iar dintre toti producatorii HP sunt cele mai putin fiabile. La un numar de aproximativ 50 de servere HP in primul an a trebuit inlocuita placa de baza la 5 servere, iar la toate bazele de date a trebuit aplicat un update de firmware in regim de urgenta pentru ca se strica electronica bateriei pentru controllerul raid foarte des, ducand la blocarea serverului. Ulterior acestor probleme am trecut pe servere Dell si pana acum nu am avut nicio problema.

      (Citează)

  10. Care este valoarea echipamentelor instalate in locatia vizitata ?

      (Citează)

  11. (fiecare modul vertical este un server ProLiant, dacă țin bine minte)

    alea-s BL-uri nu ProLiant.

      (Citează)

    Alătură-te discuției, lasă un mesaj

    E-mail-ul nu va fi publicat. Fără înjurături și cuvinte grele, că vorbim prietenește aici. Gândiți-vă de două ori înainte de a publica. Nu o luați pe arătură doar pentru că aveți un monitor în față și nu o persoană reală.

    Apăsați pe Citează pentru a cita întreg comentariul cuiva sau selectați întâi anumite cuvinte și apăsați apoi pe Citează pentru a le prelua doar pe acelea. Link-urile către alte site-uri, dar care au legătură cu subiectul discuției, sunt ok.


    Prin trimiterea comentariului acceptați politica de confidențialitate a site-ului.



    Vreți un avatar în comentarii? Mergeți pe gravatar.com (un serviciu Wordpress) și asociați o imagine cu adresa de email cu care comentați.

    Dacă ați bifat să fiți anunțați prin email de noi comentarii sau posturi, veți primi inițial un email de confirmare. Dacă nu validați acolo alegerea, nu se va activa sistemul și după un timp nu veți mai primi nici alte emailuri

    Comentariile nu se pot edita ulterior, așa că verificați ce ați scris. Dacă vreți să mai adăugați ceva, lăsați un nou comentariu.

sus