Год назад я выдвинул этот аргумент. В этом году мы его измерили.
Прошлым летом я писал об этом. Пирамида влияния — идея о том, что в дополненной реальности SOC, Не все отзывы аналитиков одинаково полезны. Нажатие кнопки «Ложное срабатывание» относится к первому уровню. Оно украшает интерфейс. Но «FP, потому что powershell.exe выполняет автоматизацию установки обновлений на этом хосте» — это 4-й уровень. Это не теги, это... учение.
Я закончил тот пост фразой, в которую верил, но которую ещё не мог доказать:
SOC Становится умнее, учась у своего лучшего учителя: аналитика, который знает, когда нужно подтолкнуть, когда отменить решение и когда... Научить систему не совершать одну и ту же ошибку дважды.
Мы оптимистично настроены в отношении нашей цели. Но реалистично оцениваем пути к ней. Поэтому в этом году мы сделали не самую привлекательную часть работы: мы создали механизм, который передает обратную связь четвертого уровня дальше — институциональную память — а затем провели эксперимент, чтобы посмотреть, действительно ли он работает.
Да, это так. Вот чек.
Механизм: обратная связь, распространяющаяся вперед.
Память — это тот элемент, который превращает разовую коррекцию в долгосрочное изменение. Когда аналитик отменяет вердикт, приводя веские основания, платформа сохраняет эти основания и применяет их к следующему соответствующему оповещению. Не как жесткое правило, срабатывающее вслепую, — а как инструмент влияния. Искусственный интеллект взвешивает это; аналитик все равно принимает решение. Легкий толчок к действию, а не вмешательство.
Обещание простое: обучите систему один раз, и она не должна повторять ошибку. Вопрос всегда заключался в том, насколько это подтверждается измерениями.
Тест
Нам не нужна была демо-версия. Нам нужна была цифра, которой мы сами могли бы доверять.
Таким образом, мы взяли 150 реальных оповещений из производственной среды. Чтобы определить правильный вердикт — не опираясь на предвзятость какой-либо одной системы — мы привлекли нескольких опытных независимых экспертов по искусственному интеллекту для слепой оценки каждого оповещения, а затем сопоставили эти оценки с метками, присвоенными экспертами по безопасности. Это дало нам надежный ориентир для каждого оповещения.
Затем мы обнаружили оповещения, в которых первоначальный вердикт производителя не совпадал с эталонным — реальные примеры ошибок, которые аналитик обнаруживает и исправляет. Для каждого случая мы сделали то же самое, что ваша команда делает каждый день: зафиксировали исправление как знание всей системы. И мы повторно провели сортировку двумя способами — без памяти и с памятью — сравнивая каждый результат с эталонным вердиктом.
В результате
В результате исправления этих предупреждений доля решений, совпавших с правильным вердиктом, увеличилась с примерно 13% при отсутствии воспоминаний до примерно 52% при наличии воспоминаний.
Примерно в четыре раза чаще получалось правильно , после того как система научилась обрабатывать обратную связь.
Проще говоря: когда мы обучали систему распознавать ошибки, она с гораздо большей вероятностью исправляла их в следующий раз, когда сталкивалась с аналогичным предупреждением. Обратная связь 4-го уровня, полученная с помощью этой пирамиды, не является декоративным элементом. Она измеримо влияет на результаты.
Примечание реалиста — потому что я обещал быть реалистом: эти цифры получены в результате внутреннего A/B-тестирования на контролируемом наборе исправленных оповещений, а не являются гарантией запуска в производство. Мы все еще проверяем, насколько эффект распространяется на более широкий, повседневный трафик. Но основной механизм — обратная связь, более качественные оценки — больше не является утверждением. Это измерение.
Почему это важно для вас SOC
- Шум, который вы уже отбросили, больше не будет появляться. Меньшее количество повторных ложных срабатываний означает, что внимание уделяется действительно новым вещам.
- Знания ваших ведущих аналитиков переживут их самих. Их понимание окружающей среды становится устойчивым, устоявшимся знанием, а не племенной памятью, которая исчезает при смене работы.
- Это усугубляет ситуацию. Чем дольше ваша команда работает с системой, тем точнее она отражает специфику вашей рабочей среды. Это своего рода защитный барьер, который укрепляется с каждым использованием.
- MSSP-провайдеры получают это за каждого клиента. Информация хранится в рамках одного клиента в условиях строгой изоляции — контекст каждого клиента уточняет его собственную стратегию обработки данных и никогда не выходит за его рамки.
А поскольку каждый изученный элемент восходит к решению человека, ничто здесь не является «черным ящиком». Вы всегда можете увидеть, что повлияло на вердикт, и отменить его. Автономия, которая уважает ваши данные настолько, чтобы позволить им направлять работу машины.
Обратная связь по-прежнему является топливом — теперь с индикатором.
Год назад «обратная связь — это топливо» была убеждением. Теперь это просто цифра. И на этом мы не останавливаемся: следующий шаг — позволить аналитикам обучать систему заранее , описывая свою среду заблаговременно, а не по одному оповещению за раз, — чтобы машина уже знала ваши серверы обновлений, ваши гостевые сегменты, ваши учетные записи служб.
SOC Оно не становится умнее само по себе. Оно становится умнее, учась у аналитика, который знает, когда нужно подтолкнуть, когда отменить решение и когда научить его не совершать одну и ту же ошибку дважды.
В прошлом году я это доказывал. В этом году я могу это продемонстрировать.
Посмотрите на звёздного кибер-агента, дополненного человеком. SOC — включая институциональную память — в действии. Запросить демо или поговорите со своим представителем Stellar Cyber об автономной системе. SOC дополнение.
