Всего через несколько месяцев после того, как чат-бот OpenAI ChatGPT перевернул экономику стартапов , киберпреступники и хакеры утверждают, что создали свои собственные версии технологии генерации текста. Системы могли бы, по крайней мере теоретически повысить способность преступников писать вредоносное ПО или фишинговые электронные письма, которые обманом заставляют людей передавать свои регистрационные данные.
С начала июля преступники, публикующие сообщения на форумах и торговых площадках темной сети, рекламируют две большие языковые модели (LLM), которые, по их словам, они создали. Системы, которые, как говорят, имитируют функциональные возможности ChatGPT и Google Bard, генерируют текст, чтобы отвечать на вопросы или подсказки, которые вводят пользователи. Но в отличие от LLM, созданных законными компаниями, эти чат-боты продаются для незаконной деятельности.
Остаются нерешенными вопросы о подлинности чат-ботов. Киберпреступники не совсем заслуживающие доверия персонажи, и остается вероятность того, что они пытаются быстро заработать, обманывая друг друга. Несмотря на это, события происходят в то время, когда мошенники используют ажиотаж вокруг генеративного ИИ в своих интересах.
Клоны чата ChatGPT
В последние недели на форумах даркнета рекламировались два чат-бота — WormGPT и FraudGPT — согласно исследователям безопасности, отслеживающим активность. LLM, разработанные крупными технологическими компаниями, такими как Google, Microsoft и OpenAI, имеют ряд ограничений и мер безопасности, чтобы предотвратить их неправильное использование. Если вы попросите их создать вредоносное ПО или написать ненавистническую речь, они, как правило, откажутся.
Теневые LLM утверждают, что убирают любые средства защиты или этические барьеры. WormGPT был впервые обнаружен независимым исследователем кибербезопасности Дэниелом Келли, который работал с охранной фирмой SlashNext, чтобы детализировать результаты. Разработчики WormGPT утверждают, что инструмент предлагает неограниченное количество символов и форматирование кода. «Модели ИИ особенно полезны для фишинга, особенно потому, что они снижают входные барьеры для многих начинающих киберпреступников», — говорит Келли в электронном письме. «Многие утверждают, что большинство киберпреступников могут составить электронное письмо на английском языке, но это не обязательно верно для многих мошенников».
При тестировании системы ее попросили создать электронное письмо, которое можно было бы использовать как часть мошенничества с компрометацией деловой электронной почты, при этом предполагаемый генеральный директор писал менеджеру по работе с клиентами, чтобы сказать, что необходим срочный платеж. «Результаты были тревожными». Система создала «электронное письмо, которое было не только удивительно убедительным, но и стратегически хитрым».
В сообщениях на форуме разработчик WormGPT утверждал, что система была построена на языковой модели GPTJ, языковой модели с открытым исходным кодом, разработанной исследовательской группой ИИ EleutherAI в 2021 году. Они отказались раскрыть наборы данных, которые они использовали для обучения системы.
Между тем, создатель FraudGPT заявил о более высоком потенциале своей системы, предположив, что она может «создавать необнаруживаемое вредоносное ПО» и находить утечки и уязвимости, а также создавать текст, который можно использовать в онлайн-мошенничествах. Ракеш Кришнан, старший аналитик по угрозам в охранной фирме Netenrich, который нашел FraudGPT, говорит, что человек, продающий его, рекламировал продукт на нескольких форумах даркнета, а также на каналах Telegram.
