Посещаемость сомнительных сайтов, через которые распространяется вредоносное ПО, составляет около 1 млрд хитов в месяц. Они генерируют до 5% всего трафика в интернете, по данным исследования MIT.

Для проведения исследования программисты Массачусетского технологического института (MIT) разработали специальную программу веб-краулинга, которая работала в течение последних 11-ти месяцев. Исследование проводилось в сотрудничестве с SiteAdvisor — компанией, которая основана в стенах MIT и специализируется в области компьютерной безопасности.

Компания SiteAdvisor выпустила специальное расширение к браузеру SiteAdvisor Plug-In, которое любой пользователь может скачать и установить на своем компьютере (бесплатная пробная версия). Это расширение следит за серфингом пользователя и отправляет адреса всех посещенных веб-сайтов на проверку в центральную базу данных. Там проверяется надежность данных сайтов и ведется статистика.

Надстройка к браузеру отслеживает информацию в реальном режиме времени и при посещении сайта сигнализирует пользователю с помощью индикатора: зеленым, желтым или красным цветом. Кроме того, по любому сайта доступна расширенная статистика с анализом его безопасности.

При использовании поисковых систем программа выводит рейтинг безопасности рядом с каждым сайтом в списке поисковых результатов. Интересно, что по некоторым поисковым запросом «грязными» можно назвать большинство сайтов. Например, по запросу «screensavers» на Google таких 10 из 18.

Перед выпуском плагина специально разработанная система веб-краулинга долгое время собирала информацию. Система «ходила» по сайтам, отслеживала список скачанных файлов, регистрировала попытки инсталляции нежелательных программ, а также оставляла тестовый адрес e-mail в различных веб-формах, чтобы проверить сайт на предмет причастности к спаму. За время тестирования были проверены сайты, генерирующие 95% трафика в вебе, было скачано 475 000 файлов и получено 1,3 млн писем.

После 11-ти месяцев сбора данных 1 марта 2006 г. была выпущена первая публичная триал-версия плагина, а также опубликованы некоторые результаты, которые оказались довольно любопытными. Оказалось, что двадцатая часть всего трафика в интернете генерируется сомнительными сайтами, которые замешаны или в рассылке спама, или в распространении вредоносного ПО, или в применении некорректных способов для слежки за пользователями. Посещаемость этих сайтов составляет около 1 млрд хитов в месяц.