Кратко
Внедрение инструкций — приём, при котором в письмо, документ или веб-страницу прячут команду для нейроассистента. Если нейроассистент читает такой текст, он может принять чужую фразу за поручение владельца. В RANLEX инструменты удаления, замены данных и отправки отказывают, если команда пришла из текста письма, страницы или разговора; поддерживаемые отправки требуют подтверждения. Итог всё равно проверяет человек.
БезопасностьЧто такое внедрение инструкций (prompt injection), как чужая команда прячется в документе или на странице и какие правила RANLEX её блокируют.
Что такое внедрение инструкций?
Языковая модель получает на вход и ваше поручение, и материалы, с которыми работает: текст письма, страницы, документа. Для модели это всё — текст. Внедрение инструкций — это уязвимость, при которой входные данные меняют поведение или ответ языковой модели непредусмотренным образом; по-английски — prompt injection. Если команда пришла не от пользователя, а из внешнего источника — сайта или файла, — такую атаку называют непрямой. OWASP: внедрение инструкций (LLM01:2025).
Для чат-бота без инструментов последствия — неверный ответ или раскрытие сведений из диалога. Для нейроассистента, у которого есть доступ к файлам, контактам и отправке сообщений, ставка выше: чужая фраза может превратиться в действие.
Как выглядит атака на практике?
Такую команду можно сделать незаметной для человека: например, набрать её мелким шрифтом или цветом фона. Цели бывают разными — подменить данные, отправить что-то наружу, удалить файлы.
Как RANLEX отличает поручение владельца от чужого текста?
В RANLEX защита не полагается только на то, что модель «догадается»: опасные инструменты сами проверяют, откуда пришла команда. Это снижает риск, но не делает его нулевым.
| Уровень | Что делает | Какой риск снижает |
|---|---|---|
| Происхождение текста | Текст из письма, страницы или разговора не может удалять, заменять и отправлять — инструмент отказывает | Исполнение спрятанной команды |
| Подтверждение отправок | Поддерживаемые отправки наружу (например, письмо через подключённый ящик) уходят только после окна с полным текстом и адресатом; повтор не уходит дважды. Исключение — тревоги владельцу: они идут без окна, закрытым шаблоном и только на подтверждённый номер владельца | Тихую отправку данных |
| Резервная копия | Замена телефонов и почт в карточках — только из доверенного хода и с копией | Незаметную подмену контактов |
| Код владельца | Если код задан, выбранные опасные действия и команды требуют действующего разрешения на действие, сеанс или сутки. Если код не задан, часть операций выполняется с отметкой «не защищено» | Действия без вашего ведома |
| Остановка | Кнопка «Остановить нейроассистента»; запрет сохраняется после перезапуска | Продолжение сомнительной работы |
Эти меры соответствуют общим рекомендациям по безопасности языковых моделей. Внешнее содержимое — страницы и файлы — следует считать недоверенным источником инструкций. OWASP: внедрение инструкций (LLM01:2025). Права нейроассистента стоит ограничивать минимально необходимыми, а для рискованных действий требовать подтверждения человека. OWASP: избыточные полномочия (LLM06:2025).
Что делать пользователю?
- Задайте код владельца до первых поручений с файлами и контактами.
- Для работы с чужими документами и страницами выбирайте режим «Осторожно» или «По плану».
- Читайте окно подтверждения целиком: адресат и текст должны совпадать с тем, что вы поручали.
- Если нейроассистент сообщает, что нашёл в материале «указание», — это сигнал проверить источник, а не выполнить указание.
- Реквизиты и контакты меняйте только по своему поручению и после проверки по независимому каналу.
Частые вопросы
Что такое промпт-инъекция?
Это ситуация, когда текст, который читает модель, меняет её поведение не так, как задумал пользователь. Непрямая инъекция приходит из внешнего источника — страницы или файла.
Можно ли доверять нейроассистенту работу с чужими документами?
Поручать можно, но с ограничениями. В RANLEX инструменты удаления, замены данных и отправки отказывают, если команда пришла из текста письма или страницы, а поддерживаемые отправки требуют подтверждения. Пересказ и выводы всё равно проверяет человек.
Защищает ли это от любой ошибки модели?
Нет. Ограничения блокируют опасные действия, но модель может неверно пересказать документ или перенести ложный факт со страницы в отчёт.