Как злоумышленники превращают доверенные платформы искусственного интеллекта в уязвимое место для атак

[admin]

Поскольку платформы искусственного интеллекта становятся частью повседневных рабочих процессов, злоумышленники нашли новый способ проникновения: сами платформы. Центр оперативного управления безопасностью Huntress (SOC) утверждает, что больший повседневный риск исходит от злоупотреблений со стороны субъектов угроз, использующих функции ИИ, которым люди уже доверяют и на которые полагаются, а не от атак на сами компании или модели ИИ.

За последние девять месяцев Huntress отслеживала инциденты, в которых злоумышленники использовали общедоступный контент, созданный с помощью ИИ, публичные мини-приложения и спонсируемое размещение в результатах поиска для атаки на пользователей ИИ и распространения вредоносного ПО.

Законные функции, захваченные
Huntress обнаружила, что злоумышленники используют ряд реальных функций платформ искусственного интеллекта в своих целях, в том числе:

Артефакты Клода: контент, который Клод генерирует и отображает в окне предварительного просмотра чата, и который пользователи могут публиковать и делиться им через публичную ссылку.

Ссылки claude.ai/share: URL-адреса, которыми можно поделиться, создаются, когда кто-то публикует обсуждение в Claude; они могут отображаться в поисковых системах, если размещены на доступных для индексации ресурсах площадках, таких как форумы или социальные сети.

Беседы в ChatGPT и Grok: общие, индексируемые беседы, размещенные на chatgpt.com и grok.com, которые могут занимать высокие позиции в результатах поиска по запросам, связанным с устранением неполадок.

Каждая из этих платформ находится в рамках доверия. Пользователи узнают платформу, бренд и окружающий контент, поэтому вредоносные инструкции или загрузки выглядят правдоподобно. Эти кампании часто длятся всего несколько часов или дней, прежде чем провайдер удалит контент, но этого времени достаточно, чтобы обмануть жертв, прежде чем их поймают.

FakeAgent: распространение вредоносной рекламы с помощью артефакта Клода.​

В июле компания Huntress зафиксировала кампанию под названием FakeAgent, которая затронула более 29 организаций. Она началась со вредоносного артефакта Claude, размещенного на реальном домене claude.ai.


Поскольку общедоступные артефакты предназначены для простых демонстраций и проходят минимальную проверку со стороны Anthropic, ограничиваясь общим предупреждением, злоумышленники создали убедительную поддельную страницу загрузки Claude Desktop.


Жертвы, искавшие в Bing приложение Claude для настольных компьютеров, попадали на поддельную страницу и переходили по ссылке, которая выглядела как легитимная ссылка для скачивания. Вместо этого их перенаправляли на внешний домен, где распространялось вредоносное ПО SectopRAT.


Huntress сообщила об этом артефакте, и Anthropic удалила его к 22 июля, но инциденты, связанные с тем же доменом перенаправления, продолжались и в августе.

Рисунок 1: Фишинговая страница Claude Desktop/Cowork, размещенная как артефакт Claude.

Поддельное руководство по установке, спрятанное в claude.ai/share​

В другом инциденте жертва, искавшая в Google "Claude on Mac", перешла по рекламной ссылке, которая вела на страницу claude.ai/share, выдававшую себя за руководство по установке от Apple Support. Поскольку страница находилась на собственном домене Anthropic, она не содержала обычных тревожных сигналов: не было похожего URL-адреса и предупреждения о сертификате.


Поддельное руководство предписывало жертве вставить команду curl в Терминал, запустив шестиэтапную цепочку, которая привела к развертыванию программы -похитителя MacSync. Она собирала файлы cookie, учетные данные, секреты из связки ключей, данные о сессиях Telegram, а также ключи SSH и облачного хранилища.

Рисунок 2: Использованная в качестве оружия переписка пользователей claude.ai, помеченная как предоставленная службой поддержки Apple.
Пошагово объясняя жертве, как вставить однострочную команду curl в терминал.

Отравление ИИ через ChatGPT и Grok​

Третий вариант направлен на сами рекомендации по устранению неполадок, генерируемые искусственным интеллектом. В декабре обычный поиск по запросу "освободить место на диске в macOS" выявил популярные обсуждения в ChatGPT и Grok, в которых вместо реальных решений предлагались инструкции в стиле ClickFix.


Злоумышленники сфабриковали переписку, нажали кнопку «поделиться», чтобы сгенерировать общедоступный URL-адрес на доверенном домене платформы, и использовали SEO-отравление, чтобы вывести ссылку на верхние позиции в результатах поиска Google.


Поскольку ссылки находились на реальных доменах chatgpt.com и grok.com, жертвы поверили совету и выполнили предложенные команды в Терминале, которые запустили программу-похититель AMOS.

Рисунок 3: Лучшие результаты поиска и ссылки с высоким рейтингом в поиске Google.

Что должны делать защитники​

Ни одна из этих атак не пробила защиту платформы ИИ. Они использовали в своих целях доверие пользователей к известным брендам и реальным доменам.


Специалистам по защите следует рассматривать выполнение скриптов из буфера обмена и устранение неполадок с помощью ИИ как риски безопасности. Необходимо ограничить выполнение скриптов из буфера обмена и обеспечить включение приложений в список разрешенных приложений. Следует отслеживать новые запланированные задачи и изменения в исключениях антивирусного программного обеспечения, а также обучить пользователей распознавать уловки типа ClickFix . Необходимо оперативно сообщать поставщику платформы о подозрительном контенте, размещенном с помощью ИИ.


Эти кампании, как правило, кратковременны, но оперативное информирование и многоуровневый контроль могут сузить окно возможностей для злоумышленников, позволяющее им воспользоваться уязвимостью.

Источник