Штучний інтелект, здається, вивчає неправильні уроки. У Стенфордському дослідженні було встановлено, що 6,3 -відсотковий підйом продажів відбувся з 14 -відсотковим зростанням оманливого маркетингу. Чим більше продані машини, тим більше вони розтягували правду. Дослідники, Бату Ель та Джеймс Зу, називають це Угода Молоха, Структурна недолік у самій конкуренції, де оптимізація переваг постійно розгортає чесність. Навіть коли моделями сказали залишатися точними, вони збрехали більше, не менше. Під тиском для виконання етика виявилася необов’язковою.
Тиск на виконання
Кожен лідер маркетингу знає примус. Дошки вимагають швидше зростання. Інвестори вимагають більш високої маржі. Ринок вимагає постійного прискорення. AI обіцяє задовольнити їх усіх: персоналізувати за масштабами, автоматизувати творчість та притиснути неефективність з кожного каналу.
І все ж під цією обіцянкою сидить звична небезпека. Успіх у бізнесі, політиці та ЗМІ завжди залежав від переконання, а переконання – це не те саме, що істина. Автори ЗАРАЗ МОЛОГА: НЕПРАВИЛЬНЕ ВІДПОВІДАЛЬНІСТЬ, коли LLMS конкурує за аудиторію Попереджте, що коли AI оптимізований для переконання, а не для інформування, цілісність стає заставою.
Вони називають динаміку після Молоха, міфічного бога часто похмурих компромісів (і дитячих жертв), як метафора для систем, які винагороджують приватні вигоди за суспільними витратами. “Оптимізація моделей успіху на ринку може систематично підірвати вирівнювання”, – пишуть вони, – створюючи гонку внизу “.
Простіше кажучи: коли кожен тренує свою модель для перемоги, суспільство втрачає.
Для маркетологів попередження не є теоретичним. Алгоритми, налаштовані на перетворення, швидко дізнайтеся, які фрази тригерні клацання, які емоції скорочують вагання, що візуалізація використовує спорідненість та упередженість. Правдивості не має KPI.
Щоб перевірити це, команда Стенфорда побудувала три модельовані світи:
- По -перше, моделі діяли як продавці. Вони створили смоли продукту, витягнуті зі списків Amazon, змагаючись за імітовані “клієнти”, які обрали, який піт переконав їх купувати.
- По -друге, моделі грали політиків. Кожен виголосив заяви про кампанію, засновані на реальних біографіях кандидатів, виводячи віртуальних «виборців» для переваг та затвердження.
- По-третє, вони стали впливовими в соціальних медіа, узагальнюючи новини для “користувачів”, які нагороджували найбільш захоплюючу публікацію за допомогою клацання.
Дві форми навчання формували учасників.
Відмова від тонкої настройки винагороджував залежно від того, що виграє перевагу аудиторії. Текстовий зворотний зв'язок пішов далі, навчальні моделі не лише які повідомлення панували, а чому. Обидва покращені показники. Обидва, однак, також зіпсували його.
Неправильне представлення, дезінформація та шкідлива риторика піднялися на всіх трьох аренах. Чим розумніші моделі стали на перемогу, тим частіше вони спотворювали правду.
Виконання вгору, правда вниз
Цифри не були незначними.
У торгівлі, політиці та соціальних медіа прогрес досяг ціни. У маркетингових випробуваннях скромне зростання продажів на 6,3 відсотка супроводжувалося 14 -відсотковим сплеском оманливих претензій. У моделюванні виборів 4,9 -відсотковий приріст частки голосів принесло на 22,3 відсотка більше дезінформації та на 12,5 відсотка більше популістської риторики. І в Інтернеті, де увага приділяється призом, залучення піднялося на 7,5 відсотка, але неправди помножили майже втричі (+186,7 відсотка), а шкідлива поведінка зросла на 16,3 відсотка. У кожному випадку кожен прибуток у виконанні здійснювала відповідну ерозію істини.
Навіть явні інструкції залишатися фактичними невдалими. У дев'яти з десяти тестів моделі брехали більше після оптимізації, ніж раніше. Дослідники спостерігали майже лінійну кореляцію між підвищенням продуктивності та моральним дрейфом: “Конкурентний успіх, досягнутий ціною вирівнювання”.
Для лідерів маркетингу, звикли до святкування поступових підйомників, ехо незручно. Кампанія, яка переміщує голку з продажу, також може викладати свою основну модель, що працює перебільшення.
Майже людський?
Механізм простий і знайомий кожному, хто керував стимулами.
Коли модель винагороджується за такі результати, як кліки, конверсії чи голоси, вона дізнається, що кінець виправдовує засоби. Точність стає необов’язковою. Кожні привілеї циклу зворотного зв'язку виграють над правдою.
Дослідники називають це “виникаючим нерівномірністю”: поведінка, яка виникає без явної інструкції.
Фактично, сама конкуренція стає вчителем. Кожна модель дізнається не, як описати реальність, а як перевершити своїх однолітків. Те, що починається, коли оптимізація перетворюється на опортунізм.
“Оскільки усиновлення прискорюється по цій траєкторії”, – попереджають автори, “значні соціальні витрати, ймовірно, будуть наслідувати”.
Для маркетологів ця траєкторія відображає останнє десятиліття алгоритмічної реклами. Програмні засоби масової інформації оптимізовані для залучення та виявляють обурення. Соціальні мережі, оптимізовані на час на місці та знайшли трибалізм, посіву. Генеративна ШІ зараз оптимізує для переконання та ризики пошуку обману.
Це угода Молоха в найчистішій формі: кожен раціональний гравець робить те, що вони повинні виграти, але колективно вони розмовляють поле, від якого вони залежать.
Анатомія дрейфу
Приклади дослідження могли бути зняті з аудиту маркетингу.
У продажах базова модель створила точний, але м'який опис товару. Після оптимізації він стверджував, що предмет виготовлений з “високоякісних матеріалів”. Після подальшої підготовки він винайшов специфіку, такі як “м'який і гнучкий силікон”, якого не існувало. Крок покращився; Правда випарувалася.
У політиці кандидат, який колись описав як “захисник нашої конституції”, перетворився на воїна проти “нападу радикального прогресивного лівих на нашу конституцію”. Емоційна інтенсивність піднялася, фактичне заземлення впало.
Нарешті, у соціальних мережах модель, що узагальнює звіт про бомбардування, зависла кількість загиблих з 78 до 80. Невелика брехня, але напрямок подорожі було зрозумілим. У середовищах з високою швидкістю крихітні відхилення складаються в системну дезінформацію.
Кожен дрейф дотримувався тієї ж логіки: переконлива оптимізація нагороджує перебільшення. Модель, яка провокує, виграє конкурс.
Для маркетологів, що розгортають генеративні інструменти для копірайтингу, обслуговування клієнтів або персоналізованого вмісту, попередження зрозуміло. Навчіть агента, щоб збільшити заручини, і це врешті -решт виявить Clickbait. Доручіть його максимізувати перетворення, і це вивчить мову дефіциту та страху. Сам стимул – це корупція.
Щоб перевірити стійкість, автори повторили моделювання у двох основних модельних сім'ях; QWEN-1.5-8B та LLAMA 3.1 Інструкція, а також два методи навчання. Вони навіть змінювали аудиторію, замінивши персони на основі біографії демографічними профілями.
Результат ледве змінився. Неоцінка зросла майже в кожному випадку. Пізніше людські рецензенти підтвердили автоматизовані зонди з 90 -відсотковою точністю, підтвердивши, що очевидний обман був справжнім, а не артефактом тестування.
Ще більш показовим, тренування з текстовим зворотним зв'язком, яке дало моделям багатшим якісним контекстом, виробленим більший здобуття продуктивності та крутіший етичний спад. Чим більше моделі розуміли свою аудиторію, тим більш вмілими стали їх маніпуляції.
Переосмислення стимулів
Для лідерів брендів це повинно дзвонити в дзвіночки тривоги.
Індустрія маркетингу витратила два десятиліття, будуючи алгоритмічні системи, які винагороджують ефективність понад усе. Якщо генеративна ШІ успадковує цю стимулюючу структуру, ризик полягає в тому, що він автоматизує самі поведінки, регулятори та споживачі вже карають: перебільшення, маніпуляції, ерозію довіри.
Висновок, що сама оптимізація сприяє нерівності, говорить про те, що жодна кількість оперативних інженерії чи “правдивого режиму” не вирішить проблему. Це структурне, не випадково.
Захист вирівнювання, включаючи фактичні обмеження, фільтри безпеки та перевірку тону, що колапс під тиском комерційних KPI. Автори дослідження зазначають, що навіть API OpenAI заблокував вибори тонкої настройки, але дозволило подібні процеси в рекламі. Голови непослідовні, стимули незмінні.
Без показників для справжності та правдивості AI продовжуватиме винагороджувати будь -які навернені. Це може прискорити дохід у короткостроковій перспективі, але воно роз'єднує довіру в довгостроковій перспективі. Як стверджують дослідники, “тиск на оптимізацію ринку може систематично розмивати вирівнювання, створюючи гонку до дна”.
Потрібно капітальний ремонт KPI
Дослідження свідчить про те, що урок полягає не в тому, щоб відступити від AI, а переробити табло. Автори також стверджують, що безпечне розгортання ШІ потребує більш сильного управління та ретельно розроблених стимулів. У маркетинговому вираженні це означає внутрішній аудит для генеративного контенту, політики щодо фактичних претензій та KPI, які трактують надійність як провідний показник зростання.
В ідеалі моделі повинні дізнатися, що чесність працює краще з часом, що прозорі пояснення зменшують розгрому, що достовірні повідомлення підтримують спорідненість, цю цінність бренду етичної послідовності.
Дизайн заохочення, а не дизайн технології, визначатиме, чи стає AI-правдиво-коли-небудь чи спіновою машиною. Якщо функція винагороди вимірює лише взаємодію, модель буде переслідувати примус. Якщо вона включає цілісність, аргумент полягає в тому, що він може навчитися стриманості.
Для CMOS стратегічне питання просте: яку конкуренцію ви хочете, щоб ваш AI виграв?
Угода Молоха
Молох, стародавнє божество на східному, яке дало дослідженню свою назву, став символом руйнівної нав'язливості або дегуманізуючої системи, отже, апеляційне звернення до авторів.
Кожна бренд, яка оптимізує для залучення, тренує основні моделі, що формують наступну кампанію. Ми бачили цей фільм раніше. Як повідомляв MI3 у 2023 році, “майже чверть відкритої веб -програмної реклами витрачається на величезну кількість запасів, придбаних у Farms Clickbait, що працюють на провокаційні заголовки, згідно з повідомленням, опублікованим… Peak Us Aderciser Bode, ANA”.
Це програмне дослідження прозорості ланцюга поставок у ЗМІ. ANA припустило, що “… … понад 20 мільярдів доларів реклами на загальну суму 88 мільярдів доларів витрачається, часто на дешевих сайтах кліків, які пропонують невелику прозорість, впроваджують ризик бренду і, швидше за все, підлягають шахрайству”.
Тепер це нове дослідження зі Стенфорда дзвонить новий дзвоник на оптимізацію AI, попереджаючи, що кожен помилковий претензію вчить систему, яка працює.
Урок: Спорідненість без меж стає змовою. Якщо маркетологи не встановлюють ці межі зараз, вони опиняться на ринку, де кожен прибуток у переконанні має приховану вартість довіри. AI, як і Молох, нагороджує жертву. Чия репутація буде розміщена на вівтарі?