Хотим познакомить вас с небольшим исследованием, базой для которого послужило наше общение на тему безопасности LLM с производственными, технологическими и финансовыми компаниями.

Практически везде мы видели одну и ту же ситуацию: LLM используют уже многие, но процессы управления и контроля для пока не выстроены.

Ниже приведем 4 типовых сценария, с которыми мы сталкивались чаще всего.

Сценарий № 1. Внутренние ИИ-ассистенты (уровень приложения)
Публичные LLM интегрируются с внутренними документами, регламентами и базами знаний компании, чтобы помогать сотрудникам быстрее находить информацию и принимать решения. Обычно это реализуется через RAG-подход, где модель получает доступ к корпоративным данным и формирует ответы на их основе.

Риски этого сценария:

• Утечка чувствительных данных через внешние LLM;
• Промт-инъекции и обход ограничений через пользовательские запросы;
• Неконтролируемый доступ к внутренним знаниям.
• Отсутствие аудита и невозможность расследования.

Сценарий № 2. Shadow AI (использование внешних LLM сотрудниками)
Сотрудники самостоятельно используют внешние LLM-сервисы (ChatGPT, GigaChat, Claude, Gemini и др.) для решения рабочих задач — от написания писем до анализа данных и кода. Это происходит без контроля со стороны ИТ и ИБ, часто с передачей чувствительной информации во внешние системы. В результате формируется неконтролируемый слой использования ИИ внутри компании.

Риски:

• Неконтролируемая передача данных во внешние модели, в том числе и трансграничная;
• Отсутствие логирования;
• Невозможность отследить утечки;
• Использование недостоверных или небезопасных ответов.

Сценарий № 3. Чат-боты с ИИ в клиентских сервисах
LLM внедряются в клиентские каналы (сайты, мессенджеры, контакт-центры) для автоматизации общения с пользователями. Они обрабатывают запросы, консультируют по продуктам и помогают решать типовые задачи без участия оператора. Часто такие решения интегрируются с CRM, базами знаний и внутренними системами.

Риски для компании:

• Генерация токсичного или незаконного контента;
• Промт-инъекции и джейлбрейки;
• Утечка клиентских данных;
• Репутационные и юридические последствия.

Сценарий № 4. Внутренние LLM / собственные модели
Компании разворачивают собственные LLM в защищённом контуре или дообучают существующие модели под свои задачи. Это позволяет работать с чувствительными данными без передачи во внешние сервисы и повышать релевантность ответов. Такие модели используются для аналитики, автоматизации процессов и создания внутренних AI-сервисов.

Риски:

• Попадание чувствительных данных в обучающую выборку;
• Отравление данных (data poisoning);
• Ошибки в настройке прав доступа;
• Высокая стоимость и неэффективное использование ресурсов.

Во многих компаниях информационная безопасность не контролирует LLM:

• Данные передаются вне контроля ИБ;
• Нет видимости, кто и как их использует;
• Отсутствуют политики и ограничения;
• Нет инструментов контроля промптов и ответов.

Последствиями все этих рисков являются юридические, репутационные и финансовые издержки как для самой компании, так и для сотрудников.