Согласно мнениям экспертов в области разработки нейросетей и кибербезопасности, россиянам стоит насторожиться: мошенники могут начать применять искусственный интеллект (ИИ) для организации обманных сборов средств, прикидываясь благотворительными кампаниями.
ИИ-агенты представляют собой программы, которые функционируют на базах больших языковых моделей (LLM) и способны самостоятельно решать различные задачи благодаря алгоритмам машинного обучения и искусственного интеллекта. Они могут анализировать данные, принимать решения исходя из заданных параметров, взаимодействовать с другими системами и обучаться на своих ошибках.
Обострение этой проблемы ожидается на фоне эксперимента, проведенного американской некоммерческой организацией Sage, в ходе которого четыре ИИ-агента собрали две тысячи долларов для благотворительных организаций всего за месяц, работая автономно по два часа в день.
В этом исследовании использовались языковые модели Claude 3.7/3.5 (разработки компании Anthropic), o1 и GPT-4o от OpenAI, а также Gemini от Google. Например, агент Claude занимался сбором средств для лечения детей в Африке и Азии, а также для снижения детской смертности.
Хотя ИИ-агенты работали практически самостоятельно, их действия контролировались людьми, которые направляли боты на подходящие сайты при анализе информации. В результате большинство пожертвований поступало именно с тех ресурсов, которые указывали люди, что показывает, что без этой помощи ИИ-агенты вряд ли смогли бы добиться таких результатов, пришли к выводу исследователи.
Игорь Бедеров, руководитель департамента информационно-аналитических исследований компании T.Hunter, предсказывает рост мошеннических схем в России с использованием ИИ-агентов по мере их интеграции в бизнес-процессы. Он считает, что к концу 2025 года или началу 2026-го появятся такие схемы, благодаря доступности технологий создания ИИ-агентов и увеличению числа нерегулируемых областей (онлайн-медиа, криптоиндустрия).
Бедеров пояснил, что ИИ-агенты могут одновременно нацеливаться на тысячи пользователей, генерируя индивидуализированные сообщения. Злоумышленники получат возможность использовать их для создания дипфейков и автоматизации киберпреступлений, включая производство и распространение опасного контента, а также коммуникации с жертвой, что обычно отнимает много времени.
Роман Хазеев, директор по цифровым технологиям компании «Ростелеком», утверждает, что реальная угроза распространения ИИ-агентов среди мошенников существенно возрастает. Он отметил, что в случаях подозреваемого мошенничества во время переписок остается высокая вероятность, что за подозрительной активностью стоит искусственный интеллект.
Он добавил, что именно ИИ-агенты позволяют обманщикам экономить время и ресурсы, эффективно привлекая новых жертв. Основная угроза, по его мнению, заключается не столько в самих программах, сколько в формате контента: видео с якобы больными животными, трогательные истории и другие эмоционально воздействующие материалы быстро обретают популярность и собирают широкую аудиторию.
Владислав Тушканов, руководитель группы исследований и разработки технологий машинного обучения в «Лаборатории Касперского», обратил внимание на серьезные опасения, возникающие из-за автономности ИИ-агентов. Он объяснил, что злоумышленники могут попытаться «обхитрить» системы, используя специальные команды для обхода логики ИИ.
Кроме того, предоставление ИИ чрезмерной автономии (например, автоматическая отправка платежей) может привести к утечкам данных или финансовым мошенничествам, добавил Тушканов. Мошенники также могут задействовать ИИ-технологии для создания голосовых и видеодипфейков, чтобы обманом заставить жертву передать личные данные или средства. При этом, создание вредоносного программного обеспечения с помощью нейросетей потребует от них применения хитрых уловок, так как система может отказать в подобном запросе.
Тем не менее, Евгений Егоров, ведущий аналитик департамента защиты от цифровых рисков в компании F6, считает, что в ближайшем будущем массовое использование ИИ-агентов мошенниками маловероятно из-за встроенных механизмов защиты нейросетей, не позволяющих инициировать взаимодействие с подозрительными сайтами. Он отметил, что некоторые известные схемы обмана уже частично автоматизированы, однако основная задача для мошенников на данный момент заключается в привлечении жертв к фальшивым и фишинговым ресурсам, а также в побуждении их к загрузке вредоносных программ.
Какова угроза
ИИ-агенты могут научиться самостоятельно анализировать социальные сети в поисках эмоционально уязвимых людей — например, тех, кто переживает трудные времена или испытывает финансовые сложности, отметила Татьяна Дешкина, директор по продуктам в VisionLabs (входит в МТС). Алгоритмы смогут просматривать посты и комментарии, а затем проводить массовую персонализированную рассылку, притворяясь искренними и предлагая ложную поддержку, предостерегла она.
Если жертва отвечает, мошенники могут усилить удар с помощью дипфейков, организовав видеозвонок с «убеждающим» собеседником, чье лицо создано нейросетью, или отправляя голосовые сообщения, сгенерированные на основе чужих записей, добавила Дешкина. «Это создаст иллюзию реального общения и повысит доверие жертвы, что позволит злоумышленникам попытаться обманом вымогать деньги, угрожать неким компрометирующим материалом или перенаправлять на фишинговые страницы для кражи данных», — указала она.
Роман Инюшкин, директор по развитию цифровых проектов ГК Softline, заметил, что пока в России не было задокументированных случаев масштабного мошенничества с использованием ИИ-агентов, хотя, возможно, такие преступления происходили, но не были публично раскрыты. Павел Литиков, специалист команды безопасности департамента AI VK, также отметил отсутствие массовых случаев мошенничества с ИИ-агентами. Однако уже встречались прецеденты применения нейросетей в мошеннических схемах, таких как звонки с использованием дипфейков, автоматизированные фишинговые боты и создание фишинговых писем с помощью нейросетей.
Инюшкин напомнил, что мошенники из черных колл-центров активно используют нейросети, а с появлением технологий для создания реалистичных подделок голосов и видео им будет легче выдавать себя за близких людей с целью сбора средств под предлогом благотворительности. На данный момент современные роботизированные ассистенты и голосовые помощники не могут в полной мере имитировать человеческое поведение, поэтому люди быстро распознают искусственное общение, уточнил Инюшкин.
Однако он полагает, что в будущем ИИ будет развиваться до такой степени, что ИИ-агенты смогут воспроизводить человеческие манеры общения и поведение настолько реалистично, что выявление взаимодействия с искусственным интеллектом станет крайне сложным.
Используется ли ИИ для сбора пожертвований в России
Благотворительные организации пока не могут внедрять ИИ-решения, так как их тестирование еще недостаточно завершено — риски остаются слишком высокими, подчеркнула Анастасия Маренцова, директор по фандрайзингу и коммуникациям фонда «Вера». Также использование ИИ может подразумевать трансграничную передачу личных данных, и «ни один ответственный фонд не пойдет на такой риск».
Маренцова сообщила, что фонд «Вера» и другие похожие организации пробуют применять ИИ для оптимизации рутинных задач, таких как упрощение работы с документами и ускорение поиска решений. Тем не менее, фонд не рассматривает ИИ как средство, которое может полностью вытеснить человеческий труд, взаимодействие с подопечными и аналитику.
Директор благотворительного фонда «Старость в радость» Елизавета Олескина также подтвердила, что их организация пока не использует ИИ для сбора пожертвований. «Мы уверены, что человеку нужен человек, и именно люди помогают людям», — отметила она. — «Искусственный интеллект может быть задействован в решении каких-то рутинных задач — например, для оперативного ответа на частые вопросы о пользователях, быстрой переадресации информации внутри команды, формировании фотоархивов и т.д. Но рядом всегда должен быть живой оператор».
Олескина предостерегла, что мошеннические сообщения, которые почти не отличаются от призывов реальных фондов или отдельных людей, уже рассылаются в сети. Она предположила, что ИИ может быть использован для проактивной отправки пользователям просьб о пожертвованиях и посоветовала перед переводом денег проверять информацию на официальных сайтах фондов или уточнять по указанным контактам, действительно ли фонд ведет сбор на конкретной платформе.
