Как соединить все точки в сложном ландшафте угроз
Первоначально опубликовано в Информационное сообщение о безопасности
АВТОРЫ ДЭВИД БАРТОНDR. АЛЬБЕРТ ЧИЧУН ЛИ
(ИЗОБРАЖЕНИЕ ФОТО ПРЕДОСТАВЛЕНО БИГСТОК.КОМ)
Поскольку объем кибератак растет, аналитики по безопасности перестают работать. Чтобы решить эту проблему, разработчики проявляют больший интерес к использованию машинного обучения (ML) для автоматизации поиска угроз. Фактически, исследователи пытались внедрить машинное обучение в решения для кибербезопасности с конца 1980-х годов, но прогресс был медленным. Сегодня ML демонстрирует все большие перспективы с появлением больших данных, потому что качество информации, на основе которой ML может учиться, улучшается. Однако еще многое предстоит сделать.
Обнаружение аномалий - первые дни
Когда мы говорим о безопасности, нам нужна система, которая может отделить хорошее от плохого, нормальное от ненормального. Поэтому вполне естественно применить обнаружение аномалий к безопасности. Мы можем проследить начало обнаружения аномалий еще в 1987 году.1 когда исследователи начали создавать системы обнаружения вторжений (IDS). Примерно в 1998–1999 годах DARPA (правительственное агентство, создавшее Интернет) создало наборы тестов и призвало к исследованиям методов машинного обучения в безопасности.2. К сожалению, некоторые результаты оказались достаточно практичными, и еще меньше продуктов дошло до стадии эксплуатации.
Обнаружение аномалий основано на обучении без учителя, которое представляет собой тип самоорганизованного обучения, который помогает находить ранее неизвестные закономерности в наборе данных без использования ранее существовавших меток. По сути, система, основанная на обучении без учителя, знает, что является нормальным, и идентифицирует все ненормальное как аномалию. Например, IDS может знать, как выглядит «нормальный» трафик, и будет предупреждать о любых вариантах трафика, которые не соответствуют этим знаниям, например, сканеру уязвимостей. Короче говоря, системы обнаружения аномалий, основанные на обучении без учителя, принимают двоичное решение (нормально / ненормально) и не делают сложных оценок. Некоторые называют приложения для обучения без учителя «одноклассными задачами».
Как вы можете себе представить, системы, основанные на неконтролируемом обучении, могут генерировать множество ложных срабатываний, потому что ситуация, считающаяся ненормальной, может быть совершенно безобидной (подумайте еще раз о сканере уязвимостей). Это проблема, с которой аналитики безопасности все еще борются.
Рост больших данных
После 2000 года разработчики и исследователи начали создавать системы фильтрации спама, фишинга и URL-адресов, основанные на контролируемом обучении. При обучении с учителем решения основываются на сравнении набора данных (или меток) с предполагаемой угрозой. Одним из таких примеров является черный список URL-адресов, в котором входящая электронная почта сопоставляется со списком нежелательных URL-адресов и отклоняется, если она соответствует метке в списке. Алгоритм контролируемого обучения анализирует данные и создает предполагаемую функцию (т. Е. Это поведение трафика соответствует этим входным данным, следовательно, это плохо), которую можно использовать для отображения новых примеров.
Ранние системы фильтрации, использующие контролируемое обучение, основывались на относительно небольших наборах данных, но с появлением больших данных наборы данных выросли в размерах и усложнились. Например, Gmail предлагает базу данных известных хороших адресов в масштабе Интернета, и ее механизм машинного обучения легче обучить сложным моделям приемлемого.
Постепенно все более популярными становятся большие модели (по ряду параметров), основанные на больших данных, такие как модели глубокого обучения. Например, контролируемое машинное обучение успешно использовалось для генерации антивирусных сигнатур в течение многих лет, а в 2012 году Cylance начала предлагать антивирусные системы следующего поколения, основанные на наборах данных, отличных от сигнатур, таких как аномальное поведение трафика.
Сочетание обучения с учителем и обучения без учителя
Контролируемое обучение показало больший успех в приложениях безопасности, но для него требуется легкий доступ к большим наборам помеченных данных, которые очень сложно создать для кибератак, таких как APT (сложные постоянные угрозы) и атаки нулевого дня, нацеленные на предприятия. Поэтому мы не можем легко применить контролируемое машинное обучение для устранения всех кибератак.
Вот где неконтролируемое обучение возвращается в ситуацию. Для решения дополнительных проблем кибербезопасности нам необходимо разработать более продвинутый AI / ML, который может работать без учителя или с частичным контролем (например, с помощью адаптивного обучения). Адаптивное обучение (анализ под руководством человека) в сочетании с контролируемым и неконтролируемым обучением улучшает вашу способность обнаруживать эти APT-атаки и эксплойты нулевого дня.
Новое направление: соединяя точки
Одна из больших проблем при простом обнаружении аномалий - количество ложных срабатываний. Один из способов решения этой проблемы - сопоставить несколько событий (точек) и затем оценить, указывает ли корреляция на наличие сильного сигнала для кибератаки. Например, одна «точка» может означать вход руководителя в сеть в 2 часа ночи, и хотя это само по себе может рассматриваться как ложное срабатывание, этого недостаточно для срабатывания предупреждения. Однако, если заметили, что руководитель входит в систему в 2 часа ночи с IP-адреса в России или Китае, это вызовет предупреждение.
Разработчики и исследователи только сейчас объединяют контролируемое и неконтролируемое обучение в продукты кибербезопасности. Например, продукт Starlight от Stellar Cyber сопоставляет несколько событий и оценивает, представляют ли они при совместном рассмотрении угрозу. Такой подход значительно снижает количество ложных срабатываний и помогает аналитикам быстрее выявлять APT или атаки нулевого дня.
Следующим этапом станет самообучение машинного обучения, чтобы прошлый опыт обнаружения угроз и реагирования на них был учтен в новых оценках потенциальных угроз. Таким образом, система со временем станет более точной. Некоторые системы безопасности начинают реализовывать технологию самообучения сегодня, но история машинного обучения в кибербезопасности относительно коротка, и в будущем появятся крупномасштабные улучшения. В то время как аналитики безопасности всегда будут необходимы для принятия окончательного решения о том, устранять ли угрозу, машинное обучение может значительно облегчить их работу при правильном применении.
Ссылки:
[1] DE Denning, «Модель обнаружения вторжений», IEEE Transactions on Software Engineering, vol. 13, вып. 2. С. 222–232, 1987.
[2] Р. Липпман, Р. К. Каннингем, Д. Д. Фрид, И. Граф, К. Р. Кендалл, С. Е. Вебстер и М. А. Зиссман, «Результаты оценки обнаружения вторжений в автономном режиме DARPA 1998 г.», в Proc. Последние достижения в обнаружении вторжений, 1999.
