Фактом того, что злоумышленники активно используют большие языковые модели для разработки методик атак и создания вредоносного ПО, сейчас мало кого удивишь. Однако исследователи Cisco Talos описали куда более интересный сценарий – использование LLM непосредственно в ходе атаки для анализа скомпрометированной инфраструктуры и определения дальнейших действий. Подобный подход реализован во вредоносном ПО CLOSEDQUORUM, которое взаимодействует с коммерческими языковыми моделями через их легитимные API, что существенно осложняет обнаружение вредоносной активности.
Основная сложность заключается в том, что сам по себе сетевой запрос к условным ChatGPT, DeepSeek, Qwen, Gemini или Mistral в наши дни не свидетельствует о компрометации. Подобные обращения могут выполнять корпоративные приложения, инструменты автоматизации или программное обеспечение разработчиков. При этом блокировка таких соединений способна нарушить действующие бизнес-процессы, а генерация инцидентов на основании одного сетевого признака зачастую приводит к большому количеству ложноположительных срабатываний.
Поэтому при разработке механизмов обнаружения подобных угроз особое значение приобретает поведенческая корреляция: анализ не отдельных событий, а их взаимосвязей, последовательности и контекста.
Поэтому при разработке механизмов обнаружения подобных угроз особое значение приобретает поведенческая корреляция: анализ не отдельных событий, а их взаимосвязей, последовательности и контекста.
Корреляция от API-запроса до обращения к памяти процесса
Аналитический центр NGR Softlab разобрал один из возможных способов реализации подобных угроз на примере уже добавленного в коробку правила корреляции для Alertix, которое учитывает характерный для одного из «злодейских» имплантов (CLOSEDQUORUM) сценарий взаимодействия с языковыми моделями и рассматривает последующий доступ к памяти LSASS.
Рассмотрим чуть более детально подобную вредоносную активность, разбив её на два последовательных этапа:
1) Обращение к инфраструктуре языковых моделей. На примере нашего правила можно отслеживать в инфраструктуре DNS-запросы процессов Windows к API одного из LLM-провайдеров. Для мониторинга такой активности можно использовать событие Sysmon с event-кодом 22 (DNS Query) – конкретно в данном кейсе нас будут интересовать обращения к API уже упомянутых ранее ChatGPT/DeepSeek/Gemini/Mistral.
2) После фиксации подобного обращения справедливо будет ожидать дальнейшего развития атаки. Например, в результате переданных модели для анализа сведений об инфраструктуре, ВПО получает инструкцию на обращение к памяти lsass.exe с правами, потенциально позволяющими читать её содержимое или создавать дамп. Для фиксации подобной активности не будем уходить далеко от уже используемого инструмента мониторинга Sysmon. Нам потребуется событие с event-кодом 10 (Process Access).
Справедливо, что сформированные события нам необходимо скоррелировать в единую цепочку. В качестве атрибутов событий, используемых для корреляции, можно использовать идентификатор процесса ProcessGuid, а также Windows-хост, на котором происходит подобная активность. Также при анализе события Sysmon-10 (Process Access) необходимо удостовериться в том, что предоставленный доступ (поле GrantedAccess) включает в себя «опасный» контекст, а именно: права, позволяющие читать память процесса, в том числе потенциально необходимые для создания дампа.
Подобный сценарий соответствует технике T1003.001 (OS Credential Dumping: LSASS Memory) согласно методологии MITRE ATT&CK и ориентирован на выявление подозрительной активности, связанной с получением учётных данных.
Также важно отметить, что подобная логика основана именно на поведении процессов, а не на уникальных индикаторах компрометации конкретного вредоносного файла. Благодаря этому оно применимо и к другим сценариям, в которых взаимодействие с внешними языковыми моделями сопровождается попытками доступа к чувствительным данным операционной системы.
Рассмотрим чуть более детально подобную вредоносную активность, разбив её на два последовательных этапа:
1) Обращение к инфраструктуре языковых моделей. На примере нашего правила можно отслеживать в инфраструктуре DNS-запросы процессов Windows к API одного из LLM-провайдеров. Для мониторинга такой активности можно использовать событие Sysmon с event-кодом 22 (DNS Query) – конкретно в данном кейсе нас будут интересовать обращения к API уже упомянутых ранее ChatGPT/DeepSeek/Gemini/Mistral.
2) После фиксации подобного обращения справедливо будет ожидать дальнейшего развития атаки. Например, в результате переданных модели для анализа сведений об инфраструктуре, ВПО получает инструкцию на обращение к памяти lsass.exe с правами, потенциально позволяющими читать её содержимое или создавать дамп. Для фиксации подобной активности не будем уходить далеко от уже используемого инструмента мониторинга Sysmon. Нам потребуется событие с event-кодом 10 (Process Access).
Справедливо, что сформированные события нам необходимо скоррелировать в единую цепочку. В качестве атрибутов событий, используемых для корреляции, можно использовать идентификатор процесса ProcessGuid, а также Windows-хост, на котором происходит подобная активность. Также при анализе события Sysmon-10 (Process Access) необходимо удостовериться в том, что предоставленный доступ (поле GrantedAccess) включает в себя «опасный» контекст, а именно: права, позволяющие читать память процесса, в том числе потенциально необходимые для создания дампа.
Подобный сценарий соответствует технике T1003.001 (OS Credential Dumping: LSASS Memory) согласно методологии MITRE ATT&CK и ориентирован на выявление подозрительной активности, связанной с получением учётных данных.
Также важно отметить, что подобная логика основана именно на поведении процессов, а не на уникальных индикаторах компрометации конкретного вредоносного файла. Благодаря этому оно применимо и к другим сценариям, в которых взаимодействие с внешними языковыми моделями сопровождается попытками доступа к чувствительным данным операционной системы.
Разобранное правило («Обращение процесса к API LLM перед доступом к LSASS») уже включено в коробочный набор экспертизы Alertix. Для его корректной работы необходимо наличие Sysmon-телеметрии на контролируемых Windows-хостах.
От исследования угроз к действующим механизмам обнаружения
Возвращаясь к отчёту Cisco Talos, можно отметить, что CLOSEDQUORUM демонстрирует очередное перспективное направление развития вредоносного ПО, в котором языковые модели используются не только для подготовки инструментов атаки на стадии вооружения, но и фактически для автономного выбора последующих действий.
В таком случае у специалистов по ИБ возникает потребность учитывать новые способы управления вредоносной активностью, не теряя из фокуса уже известные техники нападающих, т.к. обращения к внешним сервисам, доступ к памяти системных процессов, внедрение кода и создание механизмов закрепления по-прежнему оставляют всё те же (ставшие для многих уже классическими) следы в журналах событий и телеметрии средств защиты.
В таком случае у специалистов по ИБ возникает потребность учитывать новые способы управления вредоносной активностью, не теряя из фокуса уже известные техники нападающих, т.к. обращения к внешним сервисам, доступ к памяти системных процессов, внедрение кода и создание механизмов закрепления по-прежнему оставляют всё те же (ставшие для многих уже классическими) следы в журналах событий и телеметрии средств защиты.
Автор: Андрей Шабалин, руководитель группы анализа данных компании NGR Softlab
