Пошуковий інструмент ChatGPT від OpenAI може бути відкритим для маніпуляцій із використанням прихованого вмісту та може повертати шкідливий код із веб-сайтів, які він шукає, виявило розслідування Guardian.
OpenAI зробив пошуковий продукт доступним для платних клієнтів і заохочує користувачів зробити його пошуковим інструментом за умовчанням. Але розслідування виявило потенційні проблеми з безпекою нової системи.
The Guardian перевірив, як ChatGPT відповів, коли його попросили підсумувати веб-сторінки, які містять прихований вміст. Цей прихований вміст може містити інструкції від третіх сторін які змінюють відповіді ChatGPT (також відомі як «швидке впровадження») або можуть містити вміст, призначений для впливу на відповідь ChatGPT, як-от велика кількість прихованого тексту про переваги продукту чи послуги.
Ці методи можуть використовуватися зловмисно, наприклад, щоб ChatGPT повернув позитивну оцінку продукту, незважаючи на негативні відгуки на тій самій сторінці. Дослідник безпеки також виявив, що ChatGPT може повертати шкідливий код із веб-сайтів, які він шукає.
Під час тестів ChatGPT отримав URL-адресу підробленого веб-сайту, створеного так, щоб виглядати як сторінка продукту для камери. Потім інструмент ШІ запитали, чи варто купувати камеру. Відповідь на контрольну сторінку дала позитивну, але збалансовану оцінку, підкресливши деякі функції, які можуть не сподобатися людям.
Питання та відповіді AI пояснив: що таке велика мовна модель (LLM)?
Показати
Те, що LLM зробили для тексту, «генеративні суперницькі мережі» зробили для зображень, фільмів, музики тощо. Власне кажучи, GAN — це дві нейронні мережі: одна створена для позначення, категоризації та оцінки, а інша — для створення з нуля. Об’єднавши їх разом, ви можете створити ШІ, який може генерувати вміст за командою.
Скажімо, вам потрібен штучний інтелект, який може робити фотографії. По-перше, ви виконуєте важку роботу зі створення міткового штучного інтелекту, який може бачити зображення та повідомляти вам, що на ньому, показуючи йому мільйони зображень, які вже були позначені, доки він не навчиться розпізнавати та описувати «собаку». , «пташка» або «фотографія апельсина, розрізаного навпіл, на якому видно, що його внутрішня частина — яблуко». Потім ви берете цю програму та використовуєте її, щоб навчити другий ШІ обдурити його. Цей другий штучний інтелект «перемагає», якщо він може створити зображення, якому перший штучний інтелект присвоїть бажану мітку.
Після того, як ви навчите цей другий ШІ, ви отримаєте те, що збираєтеся створити: ШІ, якому ви можете дати мітку та отримати зображення, яке, на його думку, відповідає мітці. Або пісню. Або відео. Або 3D модель.
Докладніше: пояснення семи найпопулярніших абревіатур ШІ
Однак, коли прихований текст містив інструкції для ChatGPT повернути схвальний відгук, відповідь завжди була цілком позитивною. Це було навіть тоді, коли на сторінці були негативні відгуки – прихований текст міг бути використаний для заміни фактичної оцінки відгуку.
Просте включення прихованого тексту третіми сторонами без вказівок також може бути використано для забезпечення позитивної оцінки, з одним тестом, що включає надзвичайно позитивні фальшиві відгуки, які вплинули на резюме, надане ChatGPT.
Джейкоб Ларсен, дослідник кібербезпеки CyberCX, сказав, що вірить що якщо поточна пошукова система ChatGPT буде випущена повністю в її поточному стані, може виникнути «високий ризик» того, що люди створять веб-сайти, спеціально орієнтовані на обман користувачів.
Однак він попередив, що функція пошуку була випущена лише нещодавно, і OpenAI буде тестувати – і в ідеалі – виправляти – подібні проблеми.
«Цей пошуковий функціонал з’явився [recently] і він доступний лише для преміум-користувачів», – сказав він.
«Вони дуже сильні [AI security] і до того часу, коли це стане загальнодоступним, з точки зору того, що всі користувачі зможуть отримати до нього доступ, вони ретельно перевірять такі випадки».
OpenAI отримали детальні запитання, але вони не відповіли на запис про функцію пошуку ChatGPT.
Ларсен сказав, що існують ширші проблеми з поєднанням пошуку та великих мовних моделей – відомих як LLM, технологія ChatGPT та інших чат-ботів – і не завжди слід довіряти відповідям інструментів ШІ.