KL-0705: Спам и средства борьбы со спамом в. 1.0, март 2007 Глава 01 Что такое спам. - презентация

1 KL-0705: Спам и средства борьбы со спамом в. 1.0, март 2007 Глава 01 Что такое спам

2 KL-0705: Спам и средства борьбы со спамом в. 1.0, март История спама 1978 первая рассылка по первая рекламная рассылка в сети Usenet массовое распространение спама более 50% всей почты - спам 1997 появление средств для борьбы со спамом (DNSBL, SpamAssassin.org) Наши дни спам во всех областях электронных коммуникаций

3 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Что такое спам? Спам - рассылка сообщений по электронной почте Незапрошенная Массовая Анонимная

4 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Что НЕ является спамом? Регулярные подписные рассылки Автоматические ответы серверов Рассылки «вручную» от менеджеров по продажам Просто «нежелательные» сообщения

5 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Цели рассылки спама Реклама Мошенничество фишинг «нигерийские письма» Рассылка вредоносного ПО Черный PR, игра на бирже Политическая агитация

6 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Пример рекламного спама

7 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Пример фишинга

8 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Пример «биржевого» спама

9 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Спам – это выгодно Дешевый контакт с получателем для рекламодателя Доходы от рекламы для спамера Продажа/использование похищенных банковских данных Косвенные доходы от спама при игре на бирже агитации PR и т.д.

10 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Ущерб от спама Потеря времени сотрудников до 2% общего рабочего времени Затраты времени ИТ-персонала до 50% при работе с почтовыми системами Инвестиции в ИТ-инфраструктуру до 90% нагрузки на сервера - спам Увеличение интернет-трафика 70-90% всего почтового трафика - спам Риск вирусных атак и фишинга в спаме

11 KL-0705: Спам и средства борьбы со спамом в. 1.0, март 2007 Глава 02 Технологии рассылки спама

12 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Прямая рассылка Используется небольшими компаниями Не используются специфические технологии отправки и обхода спам- фильтров Используется собственный виртуальный или физический почтовый сервер Легко идентифицируется и блокируется ISP

13 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Рассылка с выделенного сервера Аренда или установка сервера у провайдера Прямая рассылка (с выделенного сервера) Легко идентифицируется ISP… …если ISP хочет это идентифицировать

14 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Рассылка через dial-up провайдеров Дешевый, быстрый, анонимный спам Норма отправка через сервер провайдера Уловка отправка напрямую получателю Способ борьбы Dial-Up Users List (DUL)

15 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Использование открытых релеев (Open Relay) Что такое открытый релей? Бесплатно и анонимно чужой сервер чужой IP Борьба с открытыми релеями, «черные списки»

16 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Использование зомби-сетей Самый распространенный способ рассылки Самый технически сложный способ рассылки Тесная интеграция с вирусным сообществом Принцип работы зомби-сети Заражение ПК Получение команды от Управляющего Центра Рассылка спама незаметно для владельца ПК

17 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Особенности работы зомби-сетей «Быстрая и глупая» сеть рост скоростей рассылки с появлением зомби- сетей «Медленная, но умная» сеть усложнение технологий рассылки Сложности в борьбе с зомби-сетями динамический состав зомби-сетей нельзя заблокировать по IP на 100% устойчивость зомби-сетей нельзя «выключить» как открытый релей или сервер

18 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Длительность рассылки Дни Прямая рассылка Dial-up аккаунты Открытые релеи Часы Собственный сервер на площадке провайдера «Медленные» зомби-сети Менее часа «Быстрые» зомби-сети

19 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Базы адресов для рассылки Программы-роботы поиск адресов на веб-страницах в форумах блогах и т.д. Продажа спамерам баз -адресов своих клиентов нечистыми на руку компаниями Генерация случайных имен и использование словарей наиболее популярных имен и т.д.)

20 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Приемы для обмана спам-фильтров Подмена адреса отправителя Искажения текста: V!A_GrA Мусорный текст – в конце письма, белый на белом и др. Спам в картинках Анимированный спам … множество других способов

21 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Примеры графического спама

22 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Анимированный спам: отдельные кадры

23 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Приемы социальной инженерии Социальная инженерия – методы манипулирования человеком для побуждения его к неким действиям. Применение в спаме Фишинг Нигерийские письма «Биржевой спам»

24 KL-0705: Спам и средства борьбы со спамом в. 1.0, март 2007 Глава 03 Технологии борьбы со спамом

25 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Основные методы борьбы Черные списки IP адресов – DNSBL (RBL) URL в теле письма – URIBL Greylisting «серые» списки IP адресов Авторизация отправителя письма SPF, Sender ID, DomainKeys Лингвистический и эвристический анализ Анализ массовости рассылок в Интернет Самообучаемые фильтры Байес и др.

26 KL-0705: Спам и средства борьбы со спамом в. 1.0, март DNSBL (RBL) RBL (торговая марка) – Real-time Blackhole List DNSBL – DNS Black List Содержит базу данных IP с которых рассылается спам «Срок жизни» IP в базе данных ограничен Виды DNSBL Коммерческие, предоставляемые как сервис Бесплатные, существующие как open source проекты Собственные «черные списки» для собственных нужд Плюсы бесплатность экономия трафика Минусы ложные срабатывания сложность обнаружения ложных срабатываний

27 KL-0705: Спам и средства борьбы со спамом в. 1.0, март URIBL (URL BL) URI = URL = Uniform Resource Locator URIBL – база данных ссылок, рекламируемых в спаме SURBL.org – один из бесплатных сервисов Плюсы точная работа Минусы не дает всеобъемлющей картины

28 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Grey listing Письмо с «нового» адреса не принимается, сервер дает отправителю команду «Повтори попытку позже» Легальный сервер выполнит команду, спамерский – повторит попытку сразу же На основании поведения сервера- отправителя письмо заносится в «черный» или «белый» список

29 KL-0705: Спам и средства борьбы со спамом в. 1.0, март SPF (а также SenderID, DomainKeys…) Подтверждают, что домен сервера- отправителя не подделан Требуют ряда действий от домена- отправителя для того, чтобы проверка могла работать данные технологии поддерживают лишь 1-2% почтовых систем в Интернет Сами по себе не определяют спам, а дают лишь дополнительную информацию для анализа

30 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Лингвистический анализ Ведение базы данных лексикона спама (вендор) Постоянное обновление базы данных (вендор) Автоматический анализ текста сообщения на основании частоты и характера употребления «спамерской» лексики в сообщении (спам-фильтр) Плюсы при грамотной реализации – очень точно определяет спам Минусы требует обновлений и быстрой реакции вендора бессилен против графического спама

31 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Анализ массовых рассылок Определяет спам на основании начала массовой рассылки одинаковых/схожих сообщений самым разным получателям Требует доступа к статистике крупных почтовых систем (например, Commtouch)

32 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Обучающиеся алгоритмы (Байес и др.) Самый большой миф в области антиспама Обучение на «хороших» и «плохих» письмах Плюсы не требует обновлений Минусы несложно обмануть требует активного участия пользователя

33 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Эвристика Принцип, используемый во многих методах эвристический анализ подразумевает начисление некоторых «баллов» письму, и затем – отнесение его к спаму (или нет) на основании суммы баллов Эвристика применяется в......лингвистическом анализе (баллы за каждое «подозрительное» слово)...анализе технических параметров («конверта») письма: заголовков, полей From и To и т.д....и самое главное – при комплексном подходе к фильтрации спама

34 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Комплексный подход Один метод не может учесть все аспекты Каждый метод имеет свои преимущества Каждый метод имеет недостатки Все наиболее известные антиспам- продукты используют комплексный подход

35 KL-0705: Спам и средства борьбы со спамом в. 1.0, март 2007 Глава 04 Оценка эффективности антиспам- решений

36 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Detection rate Показатель качества спам-фильтра 1 DR = число детектированных спам-писем / число всех спам-писем в почтовом потоке Пример получено 110 писем, 100 из них спам помечено как спам 90 писем… DR = ? DR невозможно вычислить автоматически

37 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Уровень ложных срабатываний (FPR) Тоже показатель качества спам- фильтра 1 FPR = число «чистых» писем, ошибочно помеченных как спам / число всех «чистых» писем FPR невозможно вычислить автоматически Важность показателя и маркетинговые уловки вендоров

38 KL-0705: Спам и средства борьбы со спамом в. 1.0, март «Быстрая» оценка эффективности решения Берем почтовые ящики куда приходит только спам (не менее 99% от всей приходящей почты) Фильтруем продуктом эти ящики, оцениваем долю почты, помеченной как спам Быстрый подход имеет свои недостатки Не оценивается уровень ложных срабатываний Тестирование менее 2 недель не всегда дает точные результаты Наличие «специфики конкретного почтового ящика»

39 KL-0705: Спам и средства борьбы со спамом в. 1.0, март «Быстрое» сравнение продуктов Берем тот же источник «условного спама» Устанавливаем несколько альтернативных фильтров Подаем на вход каждому идентичный поток почты Сравниваем долю отсева почты для каждого Помним про те же минусы «быстрого» подхода

40 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Полное тестирование Фильтрация режим реального времени Длительность теста не менее 2 недель Адресов для тестирования не менее 20 Аккуратнее с пересылкой в Windows Поставьте все фильтры в равные условия

41 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Типичные ошибки при тестировании «Мне приходит много спама» А сколько не приходит? «Почему фильтр не блокирует 100% спама?» Потому что это невозможно «Мы протестировали на нашей спам- коллекции…» Никаких спам-коллекций!

42 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Типичные ошибки при тестировании «Доля спама всего 50%..!» Считаем detection rate, не долю «Фильтр установили, пользователям не сказали» Пользователи должны знать как фильтруется их почта! «Фильтр А поймал то, что фильтр Б пропустил!» Фильтры нельзя тестировать последовательно!

43 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Ошибки при использовании Kaspersky Anti-Spam Обновления не работают или настроены реже, чем рекомендовано Отключена технология UDS Отключено использование DNSBL Используется устаревшая версия продукта

44 KL-0705: Спам и средства борьбы со спамом в. 1.0, март 2007 Глава 05 Kaspersky AntiSpam 3.0

45 KL-0705: Спам и средства борьбы со спамом в. 1.0, март KAS в линейке продуктов Лаборатории Касперского Серверы электронной почты Рабочие станции Сетевые серверы Сеть Интернет Шлюз Уровень защиты шлюзов Уровень защиты почтовых систем Уровень защиты сетевых серверов и рабочих станций Проверка входящего и исходящего потока писем

46 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Схема интеграции KAS Actions message InternetIntranet SMTP envelope Mail relay Backup mail relay User mail-boxes KAS 3.0

47 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Процесс анализа почтовых сообщений

48 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Технология Urgent Detection System

49 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Поддерживаемые платформы и почтовые системы Red Hat Linux / Fedora Core / Enterprise Advanced Server SuSE Linux Professional / Enterprise Mandrake Linux Debian GNU/Linux Free BSD 4.1 / x (using compat.x) Почтовые системы (MTA) Sendmail Postfix Exim Qmail Communigate Pro

50 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Системные требования Минимальные требования Intel Pentium III 500МГц, 512Мб Рекомендуемая конфигурация Intel Pentium IV 2.4ГГц, 1024Мб

51 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Производительность и статистика Производительность более 2,5 млн. сообщений в сутки (сервер P4-2,6 ГГц / 512 Мб) более 70 млн. сообщений в сутки (500 Гб трафика) на Mail.Ru Уровень обнаружения спама до 97% (Checkmark Anti-Spam Premium) Уровень ложных срабатываний менее 1 на писем Размер обновлений в 3,5 раза меньше, чем в версии 2.0 около 600 Мб в месяц

52 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Основные возможности KAS: функционал Управление настройками фильтрации на основе групповых политик Обработка сообщений на основе присвоенного им статуса Веб-интерфейс Модуль статистики фильтрации

53 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Веб-интерфейс

54 KL-0705: Спам и средства борьбы со спамом в. 1.0, март Статистика фильтрации

55 KL-0705: Спам и средства борьбы со спамом в. 1.0, март 2007 Спасибо! Вопросы? Ваше мнение.