Un passo avanti e due indietro

“Tutto dovrebbe succedere lentamente, ma se non siamo presuntuosi, continueremo a essere miserabili e confusi”

Veneikt Yerofeev

Non avrei mai pensato di usare questa frase per un mio articolo sull’industria antivirus ma così è stato. L’economia, la sete di danaro e di nuovi clienti possono talvolta corrompe anche i migliori. Oggi parliamo di una delle più importanti realtà nel settore della valutazione dei prodotti antivirus, AV-TEST.

Test, certificazioni e comparazione di prodotti: alcune nozioni base

Quali sono i criteri da considerare quando dobbiamo scegliere un prodotto e vogliamo il migliore? E come facciamo a sapere che il prodotto scelto è il migliore? Beh, probabilmente, la prima cosa da fare è osservare i risultati dei test comparativi  pubblicati nelle riviste specializzate o su Internet. Questo metodo è applicabile anche ai prodotti antivirs: sono molti i laboratori che realizzato test di valutazione sui prodotti; comparano un’ampia gamma di soluzioni antivirus, pubblicano i risultati e rilasciano certificazioni.

Per ragioni sconosciute (in seguito cercherò di dirvi il perché) il rinomato laboratorio tedesco AV-TEST ha modificato i criteri in base ai quali realizzava le sue valutazioni. In seguito a queste modifiche, i certificati rilasciati da AV-TEST non sono più attendibili come un tempo e risultano piuttosto inutili dato che non ci aiutano a determinare quali sono le reali funzionalità di un prodotto rispetto ad un altro.

Ebbene sì, è proprio così. Dichiaro ufficialmente che le certificazioni antivirus rilasciate da AV-TEST, relative ai computer per utenti home, non sono affidabili e non rappresentano la qualità dei prodotti dato che non comparano le soluzioni in modo adeguato. In altre parole, vi raccomando di non utilizzare la lista delle loro certificazioni come guida nel momento in cui dovete comprare un prodotto antivirus per il vostro computer di casa. Sarebbe logico pensare che due prodotti che hanno la stessa certificazione dovrebbero essere uguali (o perlomeno simili) in termini di performance. Con i nuovi standard e le nuove certificazioni di AV-TEST, il peso grava completamente sulle spalle dell’utente che deve analizzare attentamente i risultati dei singoli test. Quello che troveranno è che un prodotto che blocca il 99,9% delle minacce ha la stessa ‘certificazione’ di un prodotto che blocca solo il 55%.

Ma ora diamo un’occhiata più da vicino a cosa è successo e cerchiamo di capire il perché – attraverso una sorta di mini-guida all’interpretazione dei risultati pubblicati da AV-TEST.

La formula per una soluzione antivirus ideale è da tempo conosciuta ed è più o meno la seguente:

1. Protezione 100% e falsi positivi al 0%
2. Impatto zero sulle risorse di sistema
3. Usabilità per l’utente

(iiii. E se vivessimo nel mondo dei sogni gli antivirus dovrebbero essere gratis)

Ovviamente la realtà è un altra, ma l’idea è di arrivare il più vicino possibile a questo modello ideale:

• Individuare il maggior numero possibile di minacce malware e essere in grado di trattare l’infezione (e di installare una protezione sul computer infetto)
• Minimizzare il rischio di falsi positivi e se accade, liberarti di loro il prima possibile.
•  “La nostra integrale non conosce limite” sono le parole di un caro amico mio: non c’è limite al lavoro che riguarda l’ottimizzazione dell’uso della memoria, del tempo di operazione del processore, del numero e del peso degli aggiornamenti via Internet. E certamente tutto questo non deve avere nessun impatto sul livello di sicurezza.

Questo sembra abbastanza chiaro. Ma cosa fa un utente medio quando deve scegliere tra una dozzina di prodotti antivirus? Qual è il migliore e perché? Qual è quello che si avvicina di più alla soluzione ideale? (E non dimenticate che ognuno di questi prodotti, ovviamente, farà di tutto per convincervi che è il migliore del mercato).

Quindi, di chi ci possiamo fidare? Chi dice la verità? I test indipendenti certamente, ma tra questi si include AV-TEST.

Qualche anno fa, il team di AV-TEST ha messo a punto un sistema per testare i prodotti e guadagnare certificazioni: i prodotti dovevano funzionare perfettamente in ogni categoria dei test. I criteri erano i seguenti:

• PROTEZIONE (prevenzione delle infezioni)
• RIPARAZIONE (ripulire il sistema dalle infezioni riscontrate)
• USABILITÀ (facilità d’uso, performance e numero di falsi positivi)

Una certificazione veniva rilasciata o meno in base ai risultati dei test. Noi di Kaspersky Lab abbiamo supportato questo sistema e lo consideravamo un grande esempio.

Che cosa è successo a AV-TEST? Da quale metamorfosi è stato investito? Perché non possiamo più fidarci di questo sistema di certificazioni?.

Prima di tutto, il criterio necessario per ottenere la certificazione è cambiato. Il parametro RIPARAZIONE è stato eliminato. Che sorta di antivirus è quello che riesce a individuare con successo una minaccia, ma non sappiamo in che misura è in grado di ripararla? (Immaginate di andare dal dentista che vi dica “Ops, hai una carie, ma non siamo in grado di curarla, ci dispiace!”) Non molto tempo fa abbiamo riscontrato che circa il 5% di tutti i computer nel mondo con un antivirus installato è infetto! Ovviamente l’abilità di una soluzione AV di rimuovere una infezione è di primaria importanza per milioni di persone in tutto il mondo.

A questo riguardo, AV-TEST ha promesso di istituire un test separato dedicato alla valutazione del parametro RIPARAZIONE… ma non influirà sui risultati delle certificazioni e, cosa ancora più importante, sarà opzionale. Dunque se un produttore di soluzione di sicurezza ha qualche perplessità circa la qualità dei suoi prodotti, potrà semplicemente evitare il test. Come utenti, quello che possiamo fare è osservare in che misura i vendor partecipano a questi test e considerarlo come metro di valutazione.

In secondo luogo, la soglia è stata abbassata: ora basta raggiunge 10 punti su 18 per ricevere un ‘premio’.

Infine, punto tre, l’USABILITÀ sarà solo indice dei falsi positivi. Ma c’è una bella differenza tra usabilità e usabilità che solo tiene in considerazione la performance. Considerando i recenti cambiamenti dei parametri di AV-TEST, i falsi positivi dovrebbero essere inclusi nella categoria PROTEZIONE per agire da contrasto (qualcosa che gli altri laboratori fanno in ogni caso).

Quindi quali sono le conseguenze di questo improvviso cambiamento del sistema di attribuzione delle certificazioni di AV-TEST?

In primo luogo, le loro certificazioni potrebbero essere ben presto svalutate. Il numero dei partecipanti ai test aumenterà; in passato molti vendor evitavano di prender parte a questi test perché sapevano che il loro livello di protezione non aveva molte possibilità di ottenere la certificazione. Ora tutti le aziende le possono ricevere; solo i più inetti ne rimangono fuori.

Infatti, dato l’abbassamento dei criteri, è facile dedurre che qualsiasi antivirus standard potrebbe ottenere la certificazione di AV-TEST. E perché no? Tanto, non c’è nessun bisogno di dare la caccia ai nuovi malware; tutto quello che si deve fare è monitorare il flusso attraverso scanner online pubblici, come VirusTotal. Non c’è bisogno di fare nient’altro; basta semplicemente impostare un multi-scanner e ‘eliminare’ file che altri hanno già eliminato  (usando MD5 per evitare i falsi positivi). In seguito, è necessario disegnare un’interfaccia, aggiungere un mini-updater, piazzare qualche funzionalità Windows per simulare una protezione continua, preparare un’icona, incartare il tutto in un installer e bingo! Invialo a AV-TEST e ottieni il certificato!

Il punto è che si è perso l’equilibrio nel momento di valutare tecnologia antivirus e usabilità. I risultati dei test individuali sono ancora validi (e continueranno a esserlo) e saranno tenuti in considerazione dagli esperti di sicurezza IT. Tuttavia, abbassando i parametri per l’attribuzione della certificazione, chiunque può ottenere la certificazione e questo rende difficile all’utente medio capire qual è il prodotto migliore da acquistare.

Il punto è: perché AV-TEST ha deciso di abbassare gli standard?

Si sa poco delle ragioni che hanno spinto AV-TEST a questi cambiamenti (AV-TEST non ha rilasciato nessun commento a questo proposito), ma possiamo immaginare le ragioni. In primo luogo dobbiamo pensare ai motivi economici.

Ebbene sì, i test sono un vero e proprio business. E lo capisco molto bene. Realizzare un buon test non è così facile come sembra, richiede investimenti, infrastrutture, uffici, spazio e salari. E come tutti gli altri business, ci deve essere una correlazione tra qualità e profitto. Qualche volta le aziende abbassano la qualità per aumentare il profitto. In parole povere, questo approccio può essere conveniente. Ma a lungo andare porterà al logoramento e all’impoverimento del sistema.

È questo il caso? Uno dei test e delle categorie più difficili (RIPARARE) è stato rimosso dal programma. Ora basta testare un prodotto rispetto alla sua capacità di rilevare una serie di malware  e… voilà, il gioco è fatto!

È proprio così, la nuova procedura rende il processo di valutazione dei prodotti molto simile a una strategia per farsi nuovi clienti; AV-TEST regala ‘medaglie’ e qualsiasi antivirus ne avrà una. Ma in questo modo il laboratorio perderà ben presto la fiducia dei vendor antivirus su cui si basa l’intero sistema.

Non condanno il desiderio di guadagnare soldi. Nella giusta misura, questi test sono un buon metro di valutazione di una azienda, dato che la qualità dei prodotti è l’indice del loro successo. Questi test dovrebbero spingere le aziende a aumentare la qualità dei loro prodotti e non c’è nulla di male se anche le aziende ci guadagnano qualcosa 🙂 L’industria dei test di valutazione non sono da meno. Un sacco di aziende di questo settore stanno andando verso la direzione della ‘diversificazione’, realizzando nuovi test di nicchia (AV-TEST è una di queste). Per guadagnare qualche euro in più, rischiano di colare a picco, perdendo autorità in merito alle loro certificazioni che da ‘certificazioni esclusive’ passeranno ad essere ‘certificazioni per tutti a prezzo scontato’.

La prossima domanda sorge spontanea: perché i nostri prodotti sono ancora tra quelli analizzati da AV-TEST?

Prima di tutto, è nostra convinzione che quanti più test abbiamo, tanto più obiettivo sarà la valutazione. Noi non abbiamo paura di nessuno. Crediamo fermamente nelle nostre tecnologie e nei nostri livelli di protezione e se abbiamo qualche lamentela circa questo o quest’altro test, lo diremo apertamente e pubblicamente.

Inoltre, AV-TEST si occupa di un sacco di altri test, prove e certificazioni, incluso in ambito corporate e mobile. Per esempio il trattamento delle minacce ha meno importanza per i clienti business rispetto agli utenti home. Anche nelle aziende più piccola c’è sempre un amministratore di sistema che può occuparsi di una infezione quando un prodotto AV non fosse presente.

Per riassumere

1. Con queste nuovi sistemi di attribuzione delle certificazioni, NON VI RACCOMANDIAMO di prendere seriamente in considerazione le certificazioni di AV-TEST nel momento in cui dovete acquistare una soluzione per il vostro computer di casa.
2. Ad ogni modo crediamo che sia OK prendere in considerazione separatamente i risultati delle categorie PROTEZIONE e PERFORMANCE – e certamente dell’atteso test relativo alla RIPARAZIONE. Torno a dirvi che non siamo in disaccordo con la metodologia dei singoli test, ma stiamo mettendo in discussione i punti richiesti per ottenere la ‘certificazione’.
3. Dovrebbe essere di interesse di AV-TEST ascoltare il punto di vista degli esperti IT per creare sistemi di certificazione adeguati che aiutino gli utenti a raccogliere informazioni e a prendere una decisione sul prodotto. Tra questi suggerimenti includiamo, per esempio, un ritorno al test AMTSO (Anti-Malware Testing Standards Organization) e una ridiscussione del sistema di attribuzione dei punteggi insieme a i rappresentanti delle case produttrici e gli esperti IT.