Безопасность ИИ в Agentic: как безопасно внедрить автономных агентов в вашу систему. SOC

Безопасность агентного ИИ стала определяющей проблемой для SOC Команды внедряют автономные рабочие процессы. Внедрение агентов, которые планируют, исследуют и действуют без постоянного участия человека, обеспечивает реальные операционные преимущества, но также создает определенные проблемы. Проблемы безопасности агентного ИИ Эта проблема просто не была решена с помощью традиционных фреймворков. Правильная архитектура имеет большое значение.
#image_title

Как искусственный интеллект и машинное обучение повышают кибербезопасность предприятия

Соединение всех точек в сложном ландшафте угроз

#image_title

Испытайте безопасность на основе искусственного интеллекта в действии!

Откройте для себя передовой искусственный интеллект Stellar Cyber ​​для мгновенного обнаружения угроз и реагирования на них. Запланируйте демонстрацию сегодня!

Почему SOC Команды все чаще обращаются к агентному искусственному интеллекту.

Давление на SOC В командной работе произошел переход от управления сложностью к управлению масштабом. Количество оповещений росло быстрее, чем циклы найма персонала, очереди расследований увеличились, а среднее время восстановления после сбоя (MTTR) стало показателем, используемым на заседаниях совета директоров, а не оперативной примечанием.

Когда чрезмерный объем оповещений становится структурной проблемой

Современные корпоративные среды генерируют больше телеметрии безопасности, чем любая аналитическая группа может обработать вручную. Соотношение полезной информации к доступному вниманию коренным образом изменилось, и аналитики в большинстве организаций тратят большую часть своего рабочего времени на сортировку оповещений, которые оказываются просто шумом, в результате чего реальные угрозы остаются в очередях дольше, чем может выдержать любая программа безопасности.

В течение многих лет стандартным ответом было добавление инструментов: больше правил обнаружения, больше SIEM Запросы, больше корреляционной логики. Добавление новых правил к и без того перегруженному рабочему процессу в значительной степени усугубило проблему, поскольку большее количество логики обнаружения приводит к увеличению количества оповещений, что подпитывает тот же цикл.

Чем отличается Agentic AI?

Традиционный ИИ дополняет отдельные задачи: обобщение оповещения, оценка риска или рекомендации по реагированию. Агентический ИИ Самостоятельно проводит расследование. Автономный агент, которому поручено получить оповещение о фишинге, задаст запрос. SIEM Для анализа смежных действий необходимо получить телеметрию конечных точек, проверить потоки информации об угрозах, оценить индикаторы горизонтального перемещения и вынести структурированное заключение за то время, которое требуется аналитику для открытия первой консоли.

Агентные системы не ждут явных указаний на каждом этапе. Они рассуждают, стремясь к цели, адаптируются, когда промежуточные результаты меняют картину, и передают информацию аналитикам-людям, уже имея собранный контекст. Рабочие ресурсы аналитиков перенаправляются на принятие решений, действительно требующих человеческого суждения, а не на сбор информации, которую машина могла бы получить быстрее. Это подлинный сдвиг в подходе к работе в сфере безопасности, который меняет роль аналитика с главного следователя на лицо, принимающее решения.

Важность правильной практической реализации

Давление, связанное с развертыванием, реально, и оно подталкивает команды к приоритету скорости над структурой. Автономный агент с широким доступом к инструментам и недостаточным контролем увеличивает поверхность атаки наряду с эффективностью. Организации, которые успешно внедряют агентный ИИ, рассматривают это как архитектурное решение с самого первого дня. Безопасность агентного ИИ формирует основу, от которой зависит вся операционная модель.

Почему традиционная автоматизация SOAR сталкивается с препятствиями

SOAR Это стало настоящим шагом вперед: действия по реагированию, которые не требовали от аналитика ручного копирования индикаторов между консолями, и сценарии действий, позволяющие изолировать конечную точку или заблокировать учетную запись без участия человека на каждом этапе. Архитектура соответствовала среде, для которой она была создана. Проблема в том, что угроза меняется быстрее, чем архитектура успевает за ней.

Когда игровые схемы дают сбой под давлением

Плейбук SOAR представляет собой дерево решений с фиксированным набором ветвей. Когда инцидент четко соответствует известному шаблону, он работает. Когда же злоумышленник отклоняется от этого шаблона, неожиданно используя легитимный инструмент, перемещаясь по пути, не предусмотренному плейбуком, или комбинируя тактики, выходящие за пределы областей обнаружения, плейбук либо останавливается, либо выполняет неправильную ветвь. В итоге команды безопасности получают... автоматические ответы Это приводит к обработке не тех запросов или к эскалации проблем, в результате чего запросы возвращаются в ручную очередь, которую, как предполагалось, должен был исключить сценарий автоматизации. Оповещение по-прежнему расследуется, но теперь с дополнительной задержкой и снижением доверия к автоматизации.

Бремя настройки, которое никогда не разрешается

Поддержание актуальности сценариев SOAR — это непрерывный процесс разработки. Каждое новое правило обнаружения, каждый новый источник данных и каждое изменение инфраструктуры потенциально требуют обновления сценария. В быстро меняющихся средах объем работ по техническому обслуживанию растет быстрее, чем команда инженеров по безопасности успевает с ним справляться. В результате образуется библиотека сценариев, где все большая часть частично устарела, а аналитики настолько не доверяют автоматизации, что перепроверяют ее результаты вручную, что сводит на нет всю цель. Сценарии, разработанные для экономии времени аналитиков, в конечном итоге создают параллельный рабочий процесс проверки.

Пробел в контексте, для заполнения которого SOAR изначально не был предназначен.

Более глубокое ограничение носит структурный характер. SOAR обрабатывает оповещения последовательно и применяет логику, написанную до инцидента. В ней отсутствует механизм для синтеза контекста из разных источников данных в реальном времени, нет возможности сопоставить значимость одного вывода с другим и нет возможности корректировать свой подход в зависимости от того, что обнаруживается в ходе расследования. Каждая задача обеспечения безопасности агентного ИИ, связанная с неоднозначной, многоэтапной или междоменной деятельностью, выявляет именно этот пробел. Агентный ИИ устраняет его, заменяя следование правилам рассуждениями. Автономный агент оценивает свои выводы на каждом этапе, соответствующим образом корректирует свой путь расследования и выносит вердикт, отражающий фактическое состояние инцидента. Безопасные системы агентного ИИ делают этот оперативный сдвиг возможным, и архитектура, окружающая их, определяет, насколько он эффективен в реальных условиях.

Реальные угрозы безопасности агентного ИИ в SOC Среды

Угрозы безопасности агентного ИИ в SOC Это не теоретические проблемы, заимствованные из научных работ. Они вытекают непосредственно из операционной модели: агенты с широким доступом к инструментам, полномочиями по принятию решений в реальном времени и связями с инфраструктурой безопасности производственной среды. Понимание этих проблем является необходимым условием для проектирования развертывания, способного выдерживать давление со стороны противника.

Рабочие процессы сортировки и целевого отбора пациентов для оперативного введения инъекций

Внедрение оперативных команд является одной из наиболее хорошо задокументированных угроз безопасности для агентного ИИ, и в SOC В некоторых средах это принимает специфическую и значимую форму. Когда агент обрабатывает входящее фишинговое электронное письмо, подозрительный документ или оповещение, содержащее контент, контролируемый злоумышленником, этот контент может содержать встроенные инструкции, предназначенные для обхода действий агента. Хорошо продуманная инъекция предназначена для того, чтобы слиться с данными, которые агент уже должен прочитать и обработать. Агент, которым манипулируют посредством инъекции подсказки в процессе сортировки, может перенаправить конфиденциальные данные дела на внешний адрес, подавить эскалацию или инициировать вызов инструмента, задуманный злоумышленником, а не ожидаемый аналитиком. Риск возрастает в средах, где агенты обрабатывают большие объемы оповещений с минимальным контролем со стороны человека для каждого элемента.

Злоупотребление инструментами и манипулирование API

Автономные агенты взаимодействуют с внешними инструментами и API в рамках своей основной функции. Злоумышленники могут использовать это, манипулируя выходными данными инструментов, внедряя полезные нагрузки через ответы API или создавая условия, при которых агент вызывает непредусмотренную конечную точку. Агент, доверяющий выходным данным инструментов без проверки, фактически становится ретранслятором для выполнения инструкций, исходящих извне системы безопасности. SOC В средах, где агенты регулярно получают данные из источников информации об угрозах, платформ EDR и поставщиков идентификационных данных, уровень интеграции инструментов представляет собой серьезную проблему безопасности агентного ИИ, требующую особого внимания на этапе планирования развертывания.

Автономное боковое перемещение между агентами

В многоагентных архитектурах, где специализированные агенты взаимодействуют на разных этапах расследования, скомпрометированный агент может влиять на последующие агенты. Инструкции, передаваемые между агентами, несут в себе неявное доверие, и злоумышленник, контролирующий один узел в рабочем процессе, может использовать это положение для изменения поведения других. Боковое перемещение между агентами усиливает воздействие одной скомпрометированной системы, расширяя зону действия злоумышленника по всему конвейеру расследования без срабатывания сигналов на уровне конечных точек, которые отслеживают традиционные инструменты обнаружения.

Ложные циклы доверия

Агенты могут действовать с высокой степенью уверенности, используя данные, которые были незаметно искажены. Когда источники знаний, к которым агент обращается во время выполнения, были изменены, процесс рассуждений агента остается неизменным, в то время как его выводы становятся систематически неверными. Ложные циклы уверенности особенно трудно обнаружить, поскольку агент ведет себя нормально во всех наблюдаемых аспектах. Единственным сигналом является качество его выходных данных, что требует активного мониторинга, а не пассивного оповещения.

В каких случаях песочница устраняет эти риски?

Песочница ограничивает возможности скомпрометированного или модифицированного агента. Ограничивая выполнение агента контролируемой средой с разрешенными инструментами, ограниченным доступом к сети и проверенными путями вывода, песочница превращает неограниченную угрозу в ограниченную. Диапазон ущерба, который может нанести модифицированный агент, значительно сужается, когда среда его выполнения должным образом ограничена. В хорошо спроектированной агентной системе SOCФункция «песочницы» выполняет функцию структурного контроля, заложенного в архитектуру с самого начала.

Аргументы в пользу автономии, дополненной человеческим фактором.

Скорость и масштабируемость — главные аргументы в пользу агентного ИИ в данной области. SOCАвтономный агент, способный изолировать конечные точки, блокировать учетные записи или подавлять эскалации, также имеет право причинить реальный вред, если им манипулируют или неправильно настраивают. Определение того, где заканчивается автономное действие и начинается человеческое суждение, является центральным архитектурным вопросом для любого SOC Масштабное внедрение агентного ИИ.

Многоуровневая автономия: соответствие масштаба деятельности агента уровню риска

Эффективное развертывание распределяет автономию в зависимости от уровня риска каждой точки принятия решения. Агенты самостоятельно обрабатывают большой объем работы с низкими рисками: дедупликация оповещений, обогащение индикаторов компрометации, первоначальная оценка приоритетности и формирование контекста на основе телеметрии конечных точек, сети и идентификации. Решения, имеющие более серьезные последствия, такие как изменения в производственной системе, модификации учетных записей или меры по локализации, влияющие на бизнес-операции, проходят проверку аналитиком перед выполнением. На рутинном этапе агенты обрабатывают сотни оповещений за смену, формируя расширенные пакеты инцидентов, включающие коррелированные события, затронутые активы, связанную активность пользователей и сопоставление методов MITRE ATT&CK. Аналитик, который в противном случае потратил бы большую часть часа на ручное формирование этого контекста, просматривает его за считанные минуты, освобождая свое внимание для принятия решений в рамках расследования. Многоуровневая автономия работает, потому что она применяет скорость агента там, где скорость имеет наибольшее значение, и человеческое суждение там, где оно меняет результат. Аналитики проверяют решения, требующие проверки, а полный пакет расследования агента уже сформирован и готов к действию. Значительно снижается доля оповещений, требующих внимания человека, и внимание аналитиков сосредотачивается на действительно важных решениях.

Архитектура системы оценки достоверности и вынесения вердикта

Хорошо продуманная агентная система SOC Система формирует оценочные вердикты, отражающие уровень уверенности агента, доказательства, подтверждающие его вывод, и шаги расследования, предпринятые для его получения. Аналитики видят вывод агента вместе с цепочкой доказательств, которая его привела, что позволяет им быстро проверять и принимать меры на основе обоснованных выводов. Оценка уровня уверенности также определяет границу автономности для данного оповещения. Вердикты с высокой степенью уверенности в отношении хорошо изученных моделей угроз автоматически запускают действия по сдерживанию. Вердикты с более низкой степенью уверенности в отношении новой или неоднозначной активности повышаются с учетом полного контекста расследования, поэтому аналитик подходит к моменту принятия решения уже ориентированным.

Структурированные пути эскалации

В модели, дополненной человеком, эскалация является запланированной функцией рабочего процесса. Агенты переходят к эскалации, когда уровень уверенности падает ниже определенного порога, когда оповещение касается активов или счетов, помеченных как особо ценные, когда запрошенное действие необратимо или когда наблюдаемое поведение отклоняется от установленных базовых показателей таким образом, что агент не был обучен принимать решения. Эффективные пути эскалации предусматривают передачу структурированных пакетов расследования. Аналитик получает заключение агента, цепочку доказательств, рекомендуемые действия и четкое указание на причину эскалации. Структурированная передача информации сокращает время от эскалации до принятия решения, что на практике и приводит к увеличению среднего времени восстановления (MTTR).

Человеческий контроль как прямой инструмент обеспечения безопасности.

Механизмы с участием человека не только улучшают качество принимаемых решений. Они функционируют как прямой механизм защиты от угроз безопасности агентного ИИ, описанных в предыдущем разделе. Злоумышленник, успешно манипулирующий агентом посредством быстрой инъекции или злоупотребления инструментами, все равно сталкивается с проверкой человеком, прежде чем смогут быть выполнены наиболее опасные действия. Уровень контроля превращает потенциально серьезную компрометацию в обнаруживаемую и локализуемую. Человеческий контроль как архитектурный принцип также со временем приводит к более точному калиброванию системы агентного ИИ. Когда аналитики проверяют, корректируют или отменяют решения агента, эти решения возвращаются в модель, повышая ее точность при будущих оповещениях. Петля обратной связи связывает человеческий опыт с машинным обучением таким образом, что делает оба процесса более эффективными. Безопасные системы агентного ИИ строятся на понимании того, что человеческий контроль и автономные возможности взаимно усиливают друг друга. Подход Stellar Cyber ​​к агентному ИИ SOC Операционная деятельность отражает это. Проверка аналитиками, управляемая эскалация и контролируемая автоматизация функционируют как интегрированные компоненты одной и той же модели безопасности, каждый из которых усиливает способность платформы точно реагировать в условиях противодействия. Безопасность на основе агентного ИИ внедряется в процесс принятия решений системой на каждом этапе.

Архитектурные требования к безопасному агенту SOC

Описанные в предыдущих разделах проблемы безопасности агентного ИИ не решаются одной лишь конфигурацией. Они требуют базовой архитектуры, разработанной для поддержки автономного принятия решений на высокой скорости, при сохранении видимости и контроля, необходимых группам безопасности для управления поведением агентов. Каждый компонент этой архитектуры выполняет определенную функцию, обеспечивая эффективность и безопасность системы.

Единая телеметрия и Open XDR

Автономный агент принимает решения на основе того, что он видит. Агент, работающий с неполной или разрозненной телеметрией, выносит неполные или ошибочные вердикты, а в операциях по обеспечению безопасности ошибочные вердикты имеют реальные последствия. Единая телеметрия, охватывающая уровни конечных точек, сети, идентификации, облака и приложений, предоставляет агентам полный контекст, необходимый для точного анализа сложных многоэтапных угроз.

Open XDR Это позволяет внедрить унифицированную телеметрию без необходимости замены существующего стека безопасности в организациях. Агенты получают нормализованные данные с платформ EDR, сетевых датчиков, поставщиков идентификации и уже имеющихся средств контроля безопасности в облаке и сопоставляют их в согласованные хронологии инцидентов. Пробелы в телеметрии являются одной из основных причин сбоев в работе агентов. Open XDR Это напрямую решает данную структурную проблему.

Интегрированные уровни обнаружения: NG-SIEM, НДР, UEBA, ITDRи CDR

Единая телеметрия закладывает основу. Слои обнаружения обрабатывают эти данные, чтобы определить, могут ли агенты эффективно использовать их для логического мышления. NG-SIEM который обрабатывает журналы без связи с системой мониторинга NDR, отслеживающей боковое перемещение, или ITDR система, которая выявляет аномалии идентификации без подключения к UEBA Использование поведенческих базовых показателей приводит к возникновению тех же «слепых зон» обнаружения, которые призвана устранить правильно интегрированная архитектура.

В хорошо интегрированной системе каждый уровень обнаружения информирует другие. NDR отображает индикаторы бокового движения, которые запускают UEBA анализ связанных учетных записей пользователей. ITDR отмечает аномалии учетных данных, которые NG-SIEM коррелирует с телеметрией конечных точек из CDR. Агенты, работающие на этом интегрированном уровне, имеют доступ к полному представлению цепочки атак и связанному контексту, необходимому для анализа многоэтапных атак.

Нормализация API и автоматизация с учетом идентификации.

Агенты взаимодействуют с внешними системами через API, и безопасность этих взаимодействий зависит от того, насколько хорошо базовая платформа контролирует и отслеживает их. Нормализация API гарантирует, что данные, поступающие в конвейеры обработки данных агента, проверяются, структурируются и очищаются от потенциальных векторов внедрения до того, как агент их обработает. Ненормализованный слой API подвергает агентов именно тем рискам манипулирования инструментами, которые были рассмотрены в предыдущем разделе. Автоматизация с учетом идентификации добавляет еще один уровень контроля. Каждое действие агента должно быть связано с проверенной идентификацией агента, обладающей определенными разрешениями и полным журналом аудита. Когда агент вызывает API, запрашивает источник данных или выполняет действие ответа, это действие приписывается конкретной идентификации с определенной областью авторизации. Агенты, работающие вне контекста своей авторизованной идентификации, вызывают оповещения так же, как и скомпрометированная учетная запись пользователя.

Наблюдаемость поведения агентов в режиме реального времени

Для обеспечения безопасности агентных систем искусственного интеллекта необходима непрерывная прозрачность поведения агента во время выполнения: последовательность вызовов инструментов, используемые источники данных, решения, регистрируемые на каждом шаге, и любые отклонения от установленных базовых показателей поведения. SOC Контекст и наблюдаемость в режиме реального времени напрямую влияют на возможности обнаружения платформы. Анализ поведения агентов работает параллельно с анализом конечных точек и сети, сопоставляя активность агентов с более широкими данными телеметрии безопасности. Агент, запрашивающий данные из источников за пределами своей обычной области действия или совершающий вызовы инструментов в необычно больших объемах, генерирует тот же сигнал обнаружения, что и любой другой аномальный объект в среде.

Песочница как метод структурного контроля

Песочница в зрелой агентской системе SOC Это является архитектурным требованием. Каждая среда выполнения агента должна работать в рамках определенных границ: разрешенные инструменты и API, ограниченный доступ к сети, проверенные пути вывода и регистрация всех взаимодействий на границе. Песочница ограничивает радиус поражения скомпрометированного агента и обеспечивает уровню мониторинга платформы четкую базовую линию, относительно которой становятся обнаруживаемыми аномалии. Основной принцип заключается в том, что среды выполнения агентов явно ограничены, активно контролируются и спроектированы таким образом, чтобы предотвращать сбои. Изоляция на основе контейнеров, принудительное использование шлюзов API и конвейеры проверки выходных данных — все это служит этой функции. На платформе, подобной платформе Stellar Cyber, где безопасность ИИ-агента встроена в архитектуру, песочница работает в координации с мониторингом во время выполнения и автоматизацией с учетом идентификации, формируя согласованную систему защиты на каждом этапе выполнения агента.

Что такое зрелый агентический SOC Как будут выглядеть платформы к 2027 году?

Организации, внедряющие агентный ИИ в свою деятельность. SOCСегодняшние разработки опережают нормативные требования и стандарты. Новые тенденции изменят требования к внедрению во всей отрасли в течение следующих двух лет.

Регуляторное давление меняет стандарты развертывания

Правительства и регулирующие органы движутся к четкому определению требований к автономным системам искусственного интеллекта, принимающим важные решения. Положения Закона ЕС об ИИ, касающиеся высокорискованных систем ИИ, толкуются таким образом, чтобы включать в себя агентные системы, работающие в контексте безопасности, и аналогичные структуры разрабатываются на других крупных рынках. Ожидается, что к 2027 году требования к соблюдению нормативных требований в отношении прозрачности, проверяемости и человеческого контроля агентов будут в равной степени влиять на решения о закупках и практику развертывания. Команды безопасности, разрабатывающие агентные системы. SOC В настоящее время подразделениям, занимающимся операционной деятельностью, следует рассматривать текущие проекты нормативных актов как индикатор направления развития требований и соответствующим образом структурировать свою архитектуру.

Идентификация агента становится примитивом безопасности.

Отраслевые группы работают над стандартизированными протоколами аутентификации и проверки личности между агентами, опираясь на принципы, заложенные в OAuth и SAML для аутентификации людей и приложений. По мере того, как многоагентные архитектуры становятся все более распространенными, SOC Проверка подлинности агентов, установление доверия между агентами и аудит взаимодействия между агентами перейдут из разряда рекомендуемых рекомендаций в разряд базовых требований. Платформы со встроенной автоматизацией, учитывающей личность, окажутся в более выгодном положении по мере формализации этих стандартов.

Непрерывная проверка работоспособности агентов (Ren-Team)

Начинают появляться автоматизированные платформы для тестирования на проникновение, специально разработанные для обеспечения безопасности агентного ИИ. Специализированные платформы непрерывно тестируют агентов на наличие вариантов внедрения кода, сценариев манипулирования инструментами и условий ложной уверенности, предоставляя группам безопасности постоянную проверку поведения агентов в условиях противодействия. Подобно тому, как тестирование на проникновение стало стандартной практикой для традиционной инфраструктуры, автоматизированное тестирование на проникновение станет рутинным операционным требованием для любой организации, работающей в автономном режиме. SOC рабочих процессов.

Автономный полный цикл SOC Операции

Траектория, по которой движутся зрелые платформы, именно в этом направлении. автономный полный цикл SOC операция: сбор, анализ, расследование, вынесение вердикта и локализация оповещений для хорошо изученных моделей угроз, выполняемые без ручного вмешательства, при этом аналитики-люди сосредоточены на новых угрозах, частных случаях и стратегических решениях, требующих организационного контекста и оценки. Архитектура Stellar Cyber ​​построена на этом направлении. Инвестиции в унифицированную телеметрию, интегрированные уровни обнаружения, песочницу и автономию с участием человека сегодня являются инфраструктурой, на которой работает полный цикл автономной работы. Безопасность на основе агентного ИИ делает это видение операционно осуществимым.
Наверх