Человеческий контроль в автономных операциях по обеспечению безопасности

По мере того как искусственный интеллект берет на себя все большую ответственность в операциях по обеспечению безопасности, человеческий контроль становится важнейшей гарантией, отделяющей эффективную автоматизацию от неконтролируемого риска. В этой статье рассматривается, что означает человеческий контроль на практике, почему он важен для безопасности, управляемой ИИ, и как организации могут внедрить структурированные модели контроля во все свои рабочие процессы.
#image_title

Как искусственный интеллект и машинное обучение повышают кибербезопасность предприятия

Соединение всех точек в сложном ландшафте угроз

Подробнее
#image_title

Испытайте безопасность на основе искусственного интеллекта в действии!

Откройте для себя передовой искусственный интеллект Stellar Cyber ​​для мгновенного обнаружения угроз и реагирования на них. Запланируйте демонстрацию сегодня!

Заказать визит

Что такое человеческий контроль в ИИ (и чем он не является)?

Для понимания того, что такое человеческий контроль, необходимо выйти за рамки расплывчатых представлений о «наблюдении за происходящим». Человеческий контроль в сфере ИИ подразумевает целенаправленное, структурированное участие квалифицированных специалистов в проектировании, внедрении, мониторинге и корректировке систем ИИ. Он гарантирует, что автоматизированные решения соответствуют целям организации, этическим стандартам и нормативным требованиям.

Что включает в себя человеческий надзор?

  • Активный мониторинг: Аналитики по безопасности изучают сгенерированные ИИ оповещения, классификацию угроз и автоматизированные действия реагирования до или после их выполнения.
  • Полномочия на вмешательство: Уполномоченный персонал сохраняет за собой право отменять, приостанавливать или отключать процессы, управляемые искусственным интеллектом, когда результаты отклоняются от ожидаемого поведения.
  • Петли обратной связи: Структурированные механизмы для операторов, позволяющие корректировать модели ИИ, уточнять правила обнаружения и выявлять ложные срабатывания или пропущенные угрозы.
  • Назначение ответственного лица: Четкое документальное указание на то, кто несет ответственность за решения, принимаемые с помощью ИИ, гарантирует, что ни одно действие не будет происходить в вакууме подотчетности.

Что не является человеческим надзором

Человеческий контроль — это не формальное одобрение. Простое назначение человека для проверки результатов работы ИИ без соответствующей подготовки, инструментов или полномочий для оспаривания этих результатов не является значимым контролем. Это также не разовый этап настройки, выполняемый во время развертывания. Контроль должен быть непрерывным, адаптивным и обеспеченным соответствующими ресурсами. Организации, которые рассматривают его как формальную процедуру, подвергают себя тем же рискам, с которыми они столкнулись бы при полностью автоматизированной системе без участия человека.

В контексте операций по обеспечению безопасности такие платформы, как Stellar Cyber, предоставляют уровни видимости, которые делают возможным реальный контроль. Когда система искусственного интеллекта сопоставляет тысячи оповещений с приоритетными инцидентами, аналитику необходимы контекстные детали, а не просто оценка, чтобы принимать обоснованные решения.

Почему человеческий контроль является краеугольным камнем ответственного использования ИИ?

Вопрос о том, почему человеческий контроль важен в ИИ, становится особенно актуальным, когда системы ИИ работают в таких ответственных областях, как кибербезопасность. Автономное обнаружение и реагирование могут значительно сократить среднее время реагирования, но без человеческого контроля ошибки могут распространяться со скоростью, сравнимой со скоростью работы машины.

Предотвращение автоматических ошибок в масштабах предприятия

Модели ИИ, обученные на исторических данных, наследуют предвзятость, пробелы и предположения, заложенные в этих данных. Неправильно откалиброванная модель обнаружения угроз может подавлять легитимный трафик или игнорировать новые векторы атак. Человеческий контроль позволяет выявлять эти ошибки до того, как они станут системными. Когда автономный SOC При обработке миллионов событий в день даже небольшой процент ошибок классификации может привести к значительным операционным последствиям.

Поддержание организационного доверия

Заинтересованные стороны — от членов совета директоров до клиентов — нуждаются в гарантии того, что решения в области безопасности, принимаемые с помощью ИИ, отражают ценности организации и допустимый уровень риска. Человеческий контроль за ИИ обеспечивает эту гарантию, устанавливая проверяемую цепочку человеческих суждений, стоящих за критически важными действиями. Без этого организации не могут с уверенностью заявлять о контроле над собственной безопасностью.

Нормативно-правовая необходимость

В соответствии с действующими во всем мире нормативными актами, все чаще требуется участие человека в автоматизированном принятии решений. Закон ЕС об ИИ, Рамочная программа NIST по управлению рисками в области ИИ и отраслевые требования указывают в одном направлении: организации должны продемонстрировать, что участие человека в операциях с ИИ остается значимым. Невыполнение этого требования влечет за собой как юридическую ответственность, так и репутационные последствия.

Адаптация к неблагоприятным условиям

Злоумышленники активно исследуют и манипулируют системами искусственного интеллекта. Методы машинного обучения, направленные на противодействие злоумышленникам, могут искажать обучающие данные, обходить модели обнаружения или запускать автоматические ответные действия, выгодные для злоумышленника. Человеческие аналитики привносят контекстное мышление и навыки противодействия, которые современные системы ИИ не могут воспроизвести, что делает человеческий контроль со стороны ИИ оперативной необходимостью, а не философским предпочтением.

Человек в процессе: Практические модели для рабочих процессов в сфере ИИ-сервисов

Концепция «человек в контуре управления» описывает шаблон проектирования, в котором человеческое суждение интегрируется в процесс принятия решений ИИ в определенных точках вмешательства. Существует несколько практических моделей, каждая из которых подходит для различных уровней риска и операционных требований в рамках человеческого контроля в рабочих процессах ИИ-сервисов.

Сравнение моделей

Модель

Роль человека

Когда использовать

Пример из области обеспечения безопасности.

Человек-в-Loop

Утверждает каждое решение перед его исполнением.

Действия с высоким риском, имеющие серьезные последствия.

Блокировка IP-адреса производственного сервера, помеченного как скомпрометированный.

Человек в замкнутом цикле

Отслеживает действия ИИ и вмешивается при необходимости.

Операции со средним уровнем риска и большим объемом операций

Проверка автоматизированных действий по карантину в пакетном режиме

Человек за контуром управления

Устанавливает политику и анализирует совокупные результаты.

Автоматизация с низким уровнем риска и хорошо изученным подходом

Определение правил автоматического удаления фишинговых писем

Выбор правильной модели

Выбор подходящей модели зависит от серьезности потенциальных последствий, зрелости системы ИИ и допустимого уровня риска для организации. Большинство зрелых систем безопасности используют смешанный подход. Например, платформа Stellar Cyber ​​поддерживает многоуровневые конфигурации реагирования, где обнаружения с низкой степенью достоверности направляются в очереди аналитиков, в то время как действия с высокой степенью достоверности и низким уровнем воздействия выполняются автоматически с последующим анализом.

Расширение масштабов участия человека без создания узких мест

Распространенная проблема заключается в том, что модели с участием человека создают узкие места в пропускной способности. Это обоснованное опасение, если система контроля плохо спроектирована. Эффективные реализации решают эту проблему следующим образом:
  1. Сортировка пациентов на основе оценки рисков: Решения, превышающие установленные пороговые значения риска, передаются на рассмотрение экспертам.
  2. Контекстное обогащение: Предоставьте аналитикам взаимосвязанные данные, исторический контекст и рекомендуемые действия, чтобы принятие решений занимало секунды, а не минуты.
  3. Автоматизация задач с низкими рисками: Уделяйте внимание человеческим факторам только в тех случаях, когда действительно важна рассудительность.
  4. Асинхронный обзор: Разрешите выполнение определенных автоматизированных действий с обязательным аудитом после их завершения в течение установленного временного интервала.

Автономная система с дополненной реальностью SOC: Где ИИ и человеческий опыт работают вместе

Человеческий контроль не уменьшает ценность автономных операций по обеспечению безопасности — он позволяет организациям реализовать весь свой потенциал. Вместо того чтобы заменять аналитиков по безопасности, наиболее эффективные центры оперативного управления безопасностью (SOCs) использовать автономную систему, дополненную человеком SOC В этой модели ИИ отвечает за скорость, масштаб и повторяющийся анализ, а опытные аналитики обеспечивают контекстную оценку, проверку и принятие стратегических решений.

В этой модели ИИ непрерывно сопоставляет телеметрию, определяет приоритеты инцидентов, рекомендует действия по реагированию и автоматизирует рутинные мероприятия по устранению проблем. Аналитики сосредотачиваются на более важных задачах, таких как расследование сложных атак, проверка эффективности автоматизированных решений, совершенствование логики обнаружения и адаптация политик безопасности по мере развития бизнес-рисков. В результате получается система безопасности, сочетающая эффективность машинного обучения с человеческим мышлением — это снижает утомляемость аналитиков, повышает точность обнаружения и обеспечивает подотчетность.

Такой сбалансированный подход тесно согласуется с принципами ответственного использования ИИ и требованиями к надзору, обсуждаемыми в данной статье. Вместо того чтобы рассматривать автоматизацию и человеческий контроль как конкурирующие приоритеты, организации должны рассматривать их как взаимодополняющие возможности, которые усиливают друг друга.

Расшифровка статьи 14 Закона ЕС об искусственном интеллекте в отношении систем ИИ, представляющих высокий риск.

Статья 14 Закона ЕС об искусственном интеллекте устанавливает конкретные требования к контролю со стороны человека за системами ИИ, представляющими высокий риск. Для групп, занимающихся обеспечением безопасности, понимание этих требований имеет важное значение, поскольку многие системы обнаружения угроз и реагирования на них, использующие ИИ, могут подпадать под классификацию систем высокого риска в зависимости от контекста их развертывания.

Основные требования согласно статье 14

  • Понятность: Системы искусственного интеллекта должны быть спроектированы таким образом, чтобы люди, осуществляющие надзор за ними, могли адекватно понимать возможности и ограничения системы.
  • Интерпретируемость результатов: Контролеры должны уметь правильно интерпретировать выходные данные системы искусственного интеллекта, включая понимание уровней достоверности, погрешностей и известных режимов отказов.
  • Возможность отменить или остановить: Контролирующие лица должны обладать техническими возможностями для отмены автоматизированных решений или полного отключения системы.
  • Осознание предвзятости автоматизации: Организации должны внедрить меры для предотвращения чрезмерной зависимости от результатов работы ИИ, особенно когда эти результаты влияют на решения, касающиеся отдельных лиц.

Практические последствия для групп безопасности

Эти требования воплощаются в конкретные технические и организационные обязательства. Платформы безопасности должны предоставлять объяснимые результаты, а не просто оценки угроз. Аналитикам необходимо обучение по ограничениям систем ИИ, специфичным для их развертывания. А организации должны документировать свои процедуры надзора таким образом, чтобы они выдерживали проверку регулирующих органов. Поставщики, работающие в этой области, соответствующим образом адаптируются. Например, Stellar Cyber ​​предоставляет основанные на корреляции описания инцидентов, которые показывают аналитикам, почему определенный набор оповещений был сгруппирован и приоритезирован, поддерживая требование интерпретируемости, предусмотренное статьей 14.

За пределами ЕС: глобальная конвергенция регулирования

Хотя статья 14 относится конкретно к ЕС, аналогичные принципы присутствуют в рамочных документах США (NIST AI RMF), Канады (Директива об автоматизированном принятии решений) и других юрисдикций. Организации, работающие по всему миру, должны разрабатывать свои системы надзора в соответствии с наиболее строгим применимым стандартом, которым в настоящее время, как правило, является Закон ЕС об искусственном интеллекте.

Достижение подлинной подотчетности в сфере ИИ с участием человека

В системах безопасности, использующих искусственный интеллект, подотчетность означает, что каждое последующее действие — будь то автоматизированное или инициированное человеком — может быть отслежено до ответственного лица. Без вмешательства человека в критических моментах эта отслеживаемость нарушается.

Цепочка подотчетности

Хорошо продуманная структура подотчетности для автономного субъекта. SOC включает в себя несколько слоев:
  1. Разработчики моделей несут ответственность за точность, справедливость и задокументированные ограничения моделей ИИ.
  2. Операторы платформ несут ответственность за надлежащую настройку, оптимизацию и постоянную проверку систем искусственного интеллекта в своей среде.
  3. Аналитики безопасности несут ответственность за качество своей проверки, своевременность своих действий и обоснование своих решений об отмене решений.
  4. Руководство по безопасности несет ответственность за разработку политики, определяющей, когда и как применяется человеческий контроль.

Документирование принятых решений для обеспечения готовности к аудиту

Каждое вмешательство человека — будь то одобрение, изменение или отклонение рекомендации ИИ — должно быть зафиксировано с указанием времени, обоснования и имеющихся на момент принятия решения доказательств. Эта документация служит трем целям: она обеспечивает соблюдение нормативных требований, позволяет проводить анализ после инцидента и предоставляет обучающие данные для улучшения моделей ИИ с течением времени.

Избегание перекладывания ответственности

Когда ИИ и люди разделяют полномочия по принятию решений, существует риск того, что ни одна из сторон не будет чувствовать себя полностью ответственной. Организации должны четко определять ответственность на каждом этапе рабочего процесса. Если система ИИ рекомендует изолировать скомпрометированную конечную точку, и аналитик одобряет это действие, ответственность за это решение несет аналитик. Если ИИ выполняет действие автономно в соответствии с предварительно утвержденной политикой, ответственность несет лицо, которое санкционировало эту политику.

Лучшие практики внедрения человеческого контроля в вашей организации

Для эффективного осуществления человеческого контроля требуется тщательное планирование на технологическом, процессном и кадровом уровнях. Следующие методы представляют собой проверенные подходы, заимствованные из организаций, которые успешно сбалансировали автоматизацию и человеческое суждение в операциях по обеспечению безопасности.

Определите четкие критерии эскалации

Не все результаты работы ИИ требуют одинакового уровня внимания человека. Установите четкие пороговые значения, основанные на:
  • Степень тяжести воздействия: Действия, затрагивающие производственные системы, данные клиентов или критическую инфраструктуру, требуют более тщательного анализа.
  • Оценка уверенности: Выявленные случаи с низкой степенью достоверности следует направлять аналитикам-людям; случаи с высокой степенью достоверности, для которых разработаны эффективные алгоритмы реагирования, могут обрабатываться с меньшим контролем.
  • Новизна: Ранее не встречавшиеся схемы атак или аномалии, выходящие за рамки обучающей выборки модели ИИ, требуют обязательной проверки человеком.

Инвестируйте в обучение аналитиков.

Эффективность человеческого контроля зависит от квалификации его специалистов. Аналитики должны понимать не только область безопасности, но и конкретные системы искусственного интеллекта, за которыми они следят. Обучение должно охватывать архитектуру моделей на концептуальном уровне, известные режимы отказов, распространенные источники ложных срабатываний и правильный процесс предоставления обратной связи для улучшения производительности модели.

Внедрить многоуровневые процессы проверки.

Структурируйте процесс проверки в соответствии с профилем риска каждого типа действий. Трехступенчатый подход хорошо подходит для большинства организаций:

Ярус

Тип действия

Уровень надзора

Сроки обзора

1

Информационные оповещения, обогащение журналов событий.

Автоматизированная система с периодическим отбором проб.

Еженедельный обзор партии

2

Изоляция конечной точки, блокировка учетной записи

Человек-на-петле

В течение 30 минут

3

Сегментация сети, отключение сервисов

Участие человека (предварительное одобрение)

Перед казнью

Используйте возможности платформы

Выбирайте платформы безопасности, которые облегчают, а не затрудняют контроль. Stellar Cyber Open XDR Например, такая платформа объединяет оповещения из множества источников в коррелированные инциденты с полным контекстом, снижая когнитивную нагрузку на аналитиков и делая принятие решений по контролю быстрее и точнее. Правильно подобранная платформа превращает контроль из бремени в естественную часть операционного процесса.
Даже программы надзора, проводимые из лучших побуждений, сталкиваются с препятствиями. Раннее выявление этих проблем позволяет организациям обходить их, а не реагировать на неудачи постфактум.

Усталость от оповещений и предвзятость автоматизации

Когда аналитики ежедневно проверяют сотни рекомендаций, сгенерированных искусственным интеллектом, выявляются два типа сбоев. Усталость от оповещений приводит к тому, что аналитики бегло просматривают или вовсе пропускают обзоры.Предвзятость, вызванная автоматизацией, приводит к тому, что аналитики полагаются на рекомендации ИИ без критической оценки. И то, и другое подрывает цель надзора. Контрмеры включают в себя ротацию обязанностей по проверке, введение периодических «тестовых заданий», в ходе которых аналитики должны обосновать рекомендации ИИ, и сокращение количества оповещений за счет улучшения корреляции и дедупликации.

Нехватка квалифицированных кадров и ограничения ресурсов

Для эффективного контроля необходимы аналитики, которые разбираются как в сфере безопасности, так и в системах искусственного интеллекта, за которыми они следят. Многие организации сталкиваются с нехваткой персонала, обладающего такими двойными знаниями. Для решения этой проблемы необходимо:
  • Обучение аналитиков по безопасности основам искусственного интеллекта и поведению моделей.
  • Предоставление инженерам в области ИИ контекста предметной области безопасности, чтобы они могли создавать более интерпретируемые системы.
  • Использование платформ, которые абстрагируют сложность и представляют результаты работы ИИ в доступных форматах.

Баланс между скоростью и тщательностью

Инциденты в сфере безопасности требуют быстрого реагирования. Включение ручной проверки в процессы, требующие оперативного реагирования, может замедлить локализацию инцидента. Решение заключается не в устранении контроля, а в его оптимизации. Заранее утвержденные сценарии реагирования для хорошо изученных ситуаций позволяют немедленно автоматизировать действия с последующим анализом результатов. Новые или сложные сценарии направляются аналитикам с предварительно подготовленными пакетами контекстной информации, что минимизирует время расследования.

Организационное сопротивление

Некоторые команды рассматривают требования к контролю как проявление недоверия к своим инвестициям в ИИ. Здесь важна формулировка. Человеческий контроль — это не вотум недоверия к технологиям ИИ. Это дисциплина управления рисками, которая защищает организацию и улучшает производительность ИИ с течением времени за счет структурированной обратной связи. Руководство должно последовательно доносить эту информацию.

Интеграция надзора в жизненный цикл управления ИИ.

Человеческий контроль не должен существовать как изолированная деятельность, прикрепленная к существующим рабочим процессам. Он должен быть интегрирован во весь жизненный цикл управления ИИ, от первоначального проектирования системы до ее текущей эксплуатации и последующего вывода из эксплуатации.

Фаза проектирования

Требования к контролю должны быть определены до развертывания системы искусственного интеллекта. На этапе проектирования организации должны определить, какие решения требуют участия человека, какая информация необходима аналитикам для принятия обоснованных решений и какие механизмы позволят людям отменять или останавливать автоматизированные действия. Компания Stellar Cyber ​​учитывает эти факторы в архитектуре своей платформы, предоставляя настраиваемые уровни автоматизации, соответствующие требованиям управления каждой организации.

Этап развертывания и проверки

Прежде чем запускать систему ИИ в производство, необходимо убедиться, что механизмы контроля работают должным образом. Это включает в себя:
  1. Проверка возможностей принудительного отключения и выключения в реалистичных условиях.
  2. Проверка того, что результаты работы ИИ содержат достаточный контекст для интерпретации человеком.
  3. Подтверждение того, что механизмы эскалации обеспечивают связь с квалифицированным персоналом в приемлемые сроки.
  4. Проведение настольных учений, имитирующих сценарии, требующие вмешательства человека.

Операционная фаза

В ходе текущих операций необходимо постоянно измерять и улучшать эффективность контроля. Ключевые показатели включают в себя частоту корректировок со стороны аналитиков (слишком низкая частота может указывать на предвзятость автоматизации, слишком высокая — на низкую производительность модели), время принятия решения по вопросам, требующим эскалации, и точность рекомендаций ИИ, подтвержденную экспертами.

Этап анализа и улучшения

В ходе периодических проверок системы управления следует оценивать, остается ли существующая модель надзора актуальной с учетом изменений в сфере угроз, допустимого уровня риска для организации и возможностей систем искусственного интеллекта. Эти проверки должны включать в себя следующие аспекты:
  • Дрейф модели: Снизилась ли со временем точность системы искусственного интеллекта, что требует более тщательной проверки человеком?
  • Эффективность процесса: Приводят ли процессы контроля к неоправданным задержкам без соразмерного снижения рисков?
  • Регуляторные изменения: Изменили ли новые требования к соблюдению нормативных требований минимальный стандарт участия человека?
  • Включение обратной связи: Систематически ли вносятся корректировки и изменения, внесенные аналитиками, в процесс переобучения модели?
Рассматривая человеческий контроль как непрерывную дисциплину управления, а не как статичную конфигурацию, организации обеспечивают эффективность, подотчетность и соответствие своих операций по обеспечению безопасности с использованием ИИ как бизнес-целям, так и нормативным требованиям. Цель состоит не в ограничении ИИ, а в создании условий, при которых ИИ и человеческое суждение взаимно усиливают друг друга, обеспечивая результаты в области безопасности, которых ни один из них не смог бы достичь по отдельности.
Наверх
Подпишитесь на рассылку новостей