un blog de Radu Dumitru

►► canalele mele de YouTube: youtube.com/RaduDumitru (personal) și youtube.com/NwraduBlog (tech) ◄◄

Cum funcționează un centru pentru testarea antivirușilor

8 Feb 2013  ·

TEHNOLOGIE  ·

11 comentarii

av_comparative_bitdefender_09Un articol din seria “cum funcționează”, dar nu vă arăt nici o fabrică de mașini și nici depozitul eMAG, ci un centru de testare a antivirușilor. În lume sunt două mari organizații independente de testare: AV-Comparatives din Austria, mai exact Innsbruck, și AV-Test din Germania.

Acum sunt la AV-Comparatives. Ce vedeți mai jos este camera de control a testului. Testele comparative sunt foarte complexe pentru că:

  • se folosesc computere reale, nu mașini virtuale (unii viruși reacționează altfel pe VM).
  • se testează pe configurații normale, asemănătoare de media din comerț dpdv hardware și software instalat.
  • programele de securitate sunt testate pe aproximativ 200.000 – 300.000 de viruși descoperiți în ultimele luni și multe URL-uri de phishing și malware.
  • în toate testele se fac screenshot-uri, log-uri de fișiere modificate, ce și cum a detectat antivirusului, când și cum a reacționat, plus clipuri video.
  • situațiile se salvează pentru replicare ulterioară.

De aici rezultă configurația uimitoare a centrului de testare.
av_comparative_bitdefender_11

  • rackurile din stânga sunt pline de stații de lucru, câteva zeci de bucăți.
  • 25 de monitoare sunt disponibile pentru a fi conectate la stații.
  • rack-ul din dreapta conține servere de control și 400 TB de spațiu de stocare.
  • în total au 600 GB de memorie RAM instalată în echipamente.
  • serverul de control rulează un soft dezvoltat de AV-Comparatives care pornește și oprește stațiile de testare, le instalează sistem de operare, le atacă, le pune să intre pe net pe site-uri dubioase, să se uite la pornografie, să dea click pe linkuri din emailuri ciudate, să instaleze toate toolbar-urile pe care le vor. Tot acest server face și screenshot-uri, video-uri, loguri și tot restul.
  • au 3 conexiuni independente la net, 256 de IP-uri și acces la IP-uri din întreaga lume (unele malware-uri infectează doar anumite țări, așa că trebuie simulat că ar fi de acolo).

De ce se pune mare preț pe rezultatele testelor AV-Comparatives? Pentru că au o procedură de testare foarte bine pusă la punct, exhaustivă, care minimizează șansa de a greși un test și pentru că sunt o organizație independentă. E genul de industrie în care contează nu numai rezultatul, ci și cine a făcut testul, iar AV-Comparatives este un nume respectat în toată lumea.

De ce i-ai crede că sunt independenți? Eu i-am crezut. Am văzut aici numai oameni pasionați de acest domeniu, oameni care au pornit de la zero din dorința de a testa pe bune și au creat o organizație mare și frumoasă. În plus, procedura de testare, fiecare detaliu, este discutat cu fiecare furnizor de antivirus și cei care au obiecții pot cere modificarea ei. După testare producătorii au acces la toate log-urile și rezultatele detaliate, astfel încât dacă vor considera că au fost depunctați inutil sau că testele au fost greșite pot face contestații și se poate resimula totul.

O parte din independență vine și din metodele de finanțare. AV-Comparatives cere o sumă fixă de la fiecare producător care dorește să introducă un produs în test, un fel de taxă de participare. În plus sunt finanțați de două universități prin programe de cercetare (Innsbruck și Hong Kong), de un institut de dezvoltare a tehnologiei și de statul austriac, care vrea să știe ce antivirus să cumpere.

AV-Comparatives nu are profit. Au cheltuieli anuale de aproximativ 500.000 de euro și le susțin din aceste finanțări fără a face și profit.

Programatorii care au făcut softul de control și testare automatizată (i-am cunoscut ieri, tinerei) au făcut o frumusețe de program. Am văzut screenshot-uri și pe cât de complex este pe atât de ușor de înțeles dintr-o privire mi s-a părut. Nu doar partea de raportare și logging, dar până și pe screenshot-urile ce se fac periodic se rulează programe OCR care identifică eventualele mesaje de la antivirus, automatizând întregul proces.

Am apreciat și grija pentru detalii. URL-urile cu malware se testează simultan, pentru că în timp dispar sau sunt raportate ca fiind nocive. Bine, nu chiar simultan, ci la o întârziere de 5 secunde, pentru a nu porni fix în același timp toate mașinile și a nu face un fel de spam acolo. Și testează simulând IP-uri dintr-o anumită țară, dar mereu schimbate, pentru că unele malware nu infectează același IP de două ori, ba chiar și cu diverse setări localizate de Windows. V-am spus, oameni pasionați și atenți la toate detaliile. Nimic din ce am auzit că fac nu mi s-a părut “la nimereală”.

Contează un astfel de premiu de la AV-Comparatives? Da, foarte mult. Când o revistă precum PC Magazine, cu milioane de cititori, spune “cumpărați Bitdefender pentru că experții de la AV-Comparatives spun că-i cel mai bun și noi avem încredere în ei”, e ceva. Apoi în lumea corporate sunt foarte multe echipe tehnice care nu pot testa chiar ele toate programele de pe piață atunci când aleg un soft pentru o firmă cu mii de calculatoare, dar care au încredere în AV-Comparatives și rezultatele lor.

E ca atunci când ești bolnav și ai încredere în ce-ți recomandă medicul, nu te apuci tu să înveți medicina de la zero. Bine, nu mă îndoiesc că la noi în țară vor fi mulți care vor spune că știu ei mai bine că X e mai bun și Y e mai lent și Z nu detectează nimic, bazat nu pe teste de 300.000 de viruși, ci pe 1-2 pățanii personale.

Cu altă ocazie vă spun mai multe despre Bitdefender pentru că am avut ocazia să discut una alta cu CEO-ul companiei, dl. Florin Talpeș. Până atunci, mai jos este un top al antivirușilor pentru rezultatele unui test Real World Protection Test de anul trecut:
Bitdefender
G Data
Trend Micro
F-Secure
BullGuard
Qihoo 360 (popular în China)
Kaspersky

Cele cu bold folosesc tehnologie Bitdefender, cumpărată de la români de către respectivele firme sub forma unor parteneriate. V-am mai spus că avem toate motivele să fim mândri că un soft atât de performant și avansat dpdv al tehnologiei de detecție este produs integral în România.

    11 comentarii

  1. După părerea mea, dacă tu ca producător antivirus știi în detaliu toate testele instituției poți lua 100%. Dar asta nu te va ajuta în lupta directă cu pirații Internetului. Pentru că băieții sunt un pic mai inventivi de atât. Iar exploit-uri noi apar în fiecare zi, degeaba le detectezi 100% pe alea deja existente, pe cele noi nu le poți descoperi decât prea târziu. Dar asta nu înseamnă că Bitdefender nu fac treabă bună. Fac treabă mai bună decât multe alte companii de top.

      (Citează)

    • Știu testele la modul “vă punem să scanați un folder virusat cu setările pe protecție normală, apoi intrăm pe 30 de site-uri periculoase”, nu în detaliu adresele.

      La viruși nici celor de la AV-Comparatives nu le pasă așa mult de rezultatele pe variante mai vechi. De asta unele teste se fac simultan (ca ultimul testat să nu fi avut timp să afle prin actualizări de soft de noile amenințări) pe aceleași fișiere sau URL-uri ce sunt colectate de mulți voluntari din lumea întreagă, câteva mii pe zi.

      Practic toate testele vor să afle cum s-ar descurca programele cu noile amenințări de pe piață, că la cele vechi toate excelează.

      Au prin lume, pe lângă voluntari și colaboratori care le arată noi amenințări pentru testare, așa numite honeypots, un fel de calculatoare fără protecție care doar așteaptă să fie infectate. Sunt echivalentul unui om care își toarnă miere pe el și se duce la albine. De asta și tot sistemul este automatizat, pentru a testa cât mai rapid noile probleme înainte de a fi “rezolvate”.

      Citez de la descrierea acestui tip de test.
      “The tests evaluate the products against new and unknown malware to measure the proactive detection capabilities (e.g. through heuristics, generic signatures, etc.). This test also takes into consideration the false positive rate. Starting from 2012, the remaining malware files are also being executed, so that the proactive protection provided by e.g. behaviour blockers is evaluated.”

      În ce-am găsit pe site, Bitdefender a blocat vreo 82% dintre aceste amenințări încă de la scanare și încă vreo 15% atunci când au vrut să ruleze respectivul program sau email sau să acceseze linkul.

        (Citează)

    • Când zic că producătorii acceptă procedura de testare, mă refer că unele companii refuză complet să fie testate sau recomandă anumite setări mai bune, nu direct cele de după instalare.

      Sunt menționate în fiecare raport de testare, de exemplu
      teste
      Urăsc că nu poți da copy-paste din anumite PDF-uri, deși sunt făcute pentru a comunica public informațiile respective.

        (Citează)

  2. Dan, vrei sa sugerezi cumva ca BitDefender si-ar fi pregatit locul in clasament?

    Eu un singur lucru am avut de reprosat acestui antivirus: acum cativa ani consuma inacceptabil de multe resurse.

      (Citează)

    • @Dumitru: cică au fost programe care, dacă detectau numai viruși într-un folder sau câte unul în fiecare secundă pe net, bănuiau că sunt de fapt testate și raportau orice. Dar asta era acum câțiva ani și cei de la AV-Comparatives se prind rapid și le dau de cap cu tot felul de șmecherii și teste complicate, false positives și din astea.

        (Citează)

  3. Mie mi se pare gresit sa judeci un antivirus exclusiv dupa rata de detectie. Noi folosim o alta solutie (nu dau nume fiindca nu asta e scopul aici) datorita in primul rand facilitatilor de administrare si abia dupa aceea a ratei de detectie. Intr-o retea de companie exista de cele mai multe ori mecanisme de protectie premergatoare antivirusului, de-aia ma lasa complet rece cand vad rezultatele de la AV-comparatives. Mai ales cand din lista lor lipsesc nume mari din domeniu.

      (Citează)

  4. @Dan, ai dreptate, cam acelasi lucru se intampla si la Euro NCAP. Un Hyundai i30 si un Audi A6 au ambele 5 stele. Problema e in care ai vrea sa fii in cazul unui accident frontal.

      (Citează)

    • @Revo: nu e chiar așa. Tu vorbești acum doar dintr-o percepție subiectivă că Audi este un tanc și Hyundai i30 este o mașină mai mică, deci prima ar trebui să fie mai rezistentă. Tot subiectiv, rezultatele din accidentele pe care le vezi la televizor spun același lucru, dar de cele mai multe ori este pentru că Audi-ul are inclus în standard mai multe airbag-uri și protecții, pe când la alte mașini trebuie să le cumperi suplimentar.

      Ori Euro NCAP tocmai asta demonstrează. În condiții identice de test, ambele mașini protejează la fel de bine oamenii pentru că senzorii plasați pe torso, genunchi, cap etc asta spun. NCAP nu testează la modul “bă, în Hyundai a murit unul din 4 ocupanți, dar având în vedere prețul mașinii, îi dăm 5 stele oricum”.

      La fel și la antiviruși. Te chemă Symantec și faci asta de mult? Bravo ție, dar uite că oamenii de la Bitdefender au în acest moment o tehnologie de detecție mai bună și obțin performanțe mai bune.

        (Citează)

    • Uite o altă idee. Noi de multe ori judecăm subiectiv bazat pe faptul că am avut un antivirus și totuși un anumit malware a trecut de el. Concluzia este că “X e varză”.

      AV-Comparatives și AV-Test fac o testare exhaustivă, bazată pe sute de mii de încercări pentru că în statistică e important să ai cât mai multe evenimente pe baza cărora tragi o concluzie. Nici un antivirus nu este perfect, nici unul nu are rată 100% de detecție. Tu iei un virus, înjuri antivirusul, cumperi alt program data viitoare. Bun, dar același program te apără de 300 alți viruși pe care nu-i observi; vezi mesajul “a blocat această pagină pentru că e virusată” și te duci imediat la o alta, fără nici măcar să zici în gând “băi, noroc cu programul ăsta, că altfel pierdeam o zi reinstalând totul sau banii din bancă”.

      Bitdefender are 500 de milioane de utilizatori în lume, adunând toate programele care le utilizează tehnologia de detecție (F-Secure, Bullguard, G-Data etc). Se testează atât de lung și complex tocmai pentru a se putea spune că statistic programul X te protejează mai bine decât Y. De fiecare dintre ele vor trece unul sau doi viruși, dar care e șansa să se întâmple exact la tine asta? Nu știi ce te va ataca și nici ce apare pe viitor, dar alegerea cea mai logică o poți face bazându-te pe statistică și numere mari, nu pe percepția subiectivă că acum doi ani cineva s-a virusat folosit programul X și nu Y.

        (Citează)

  5. foarte interesant!

      (Citează)

  6. @Dan: daca ai fi gandit un pic, n-ai fi zis ce ai zis. Pai, daca ar fi asa usor sa iei 100% in teste, toata lumea ar avea 100% la teste si nu s-ar mai da teste.
    Cand colo, ce sa vezi? Nume mari de gen McAfee si Trend dau in mod curent gres la detectie sau la removal si pica teste intr-o veselie (Microsoft de ex. s-a retras de tot, nici nu mai trimite produse la testare), in timp ce alte nume mari (get Bitdefender si F-Secure) nu prea mai dau.
    In lumea reala e capitalism, chiar exista invingatori si invinsi, nu e ca la Romanica, unde toate meciurile sunt blaturi mai mult sau mai putin reusite.
    Cam atat.

      (Citează)

    Alătură-te discuției, lasă un mesaj

    E-mail-ul nu va fi publicat. Fără înjurături și cuvinte grele, că vorbim prietenește aici. Gândiți-vă de două ori înainte de a publica. Nu o luați pe arătură doar pentru că aveți un monitor în față și nu o persoană reală.

    Apăsați pe Citează pentru a cita întreg comentariul cuiva sau selectați întâi anumite cuvinte și apăsați apoi pe Citează pentru a le prelua doar pe acelea. Link-urile către alte site-uri, dar care au legătură cu subiectul discuției, sunt ok.


    Prin trimiterea comentariului acceptați politica de confidențialitate a site-ului.



    Vreți un avatar în comentarii? Mergeți pe gravatar.com (un serviciu Wordpress) și asociați o imagine cu adresa de email cu care comentați.

    Dacă ați bifat să fiți anunțați prin email de noi comentarii sau posturi, veți primi inițial un email de confirmare. Dacă nu validați acolo alegerea, nu se va activa sistemul și după un timp nu veți mai primi nici alte emailuri

    Comentariile nu se pot edita ulterior, așa că verificați ce ați scris. Dacă vreți să mai adăugați ceva, lăsați un nou comentariu.

sus