Нові основоположні моделі Nova від Amazon і оптимізована за затримкою функція висновку Amazon Bedrock представляють величезні можливості для торгових партнерів. Ось чому.
Нове сімейство основних базових моделей Nova від Amazon і новий висновок Amazon Bedrock, оптимізований для затримки, є домашніми для партнерів Amazon Web Services.
«Ми дуже раді моделям Nova, тому що це величезні можливості», — сказав Рендалл Хант, технічний директор AWS Premier Tier Services Partner Caylent. «Подумайте про додатки, для яких це можна використовувати в камерах відеоспостереження, для роздрібної торгівлі, для спорту, для будь-якого виду генеративного пошуку, який ви хочете виконати на відеоматеріалі, або якщо ви хочете створити відео про продукти».
«Це було можливо раніше, але це не було включено через API, і тепер це один виклик API, — сказав Хант, бізнес якого на AWS компанії зріс на колосальні 80 відсотків у 2024 році. — Тож мені не потрібно йти й розкручувати купу серверів і мати справу з динамічною вибіркою кадрів і всіма цими іншими складнощами».
[Related: AWS CEO re:Invent Keynote: 7 Bold Google, Windows, VMware And ‘Game-Changing’ Innovation Remarks]
Запущені цього тижня на AWS re:Invent 2024 у Лас-Вегасі базові моделі (FM) Amazon Nova — це нове покоління моделей штучного інтелекту, спрямованих на надання інтелектуальних можливостей і найкращих у галузі цінових показників на Amazon Bedrock.
Місія Nova полягає в тому, щоб зменшити витрати та затримку для будь-якого генеративного завдання штучного інтелекту за допомогою клієнтів, які можуть будувати на Nova FM аналіз документів і відео, розуміти діаграми та діаграми, створювати відеоконтент і створювати складні агенти штучного інтелекту.
Нова «вбивча функція»: оптимізований затримкою висновок для Bedrock
Caylent був одним із партнерів AWS по запуску Nova і мав ранній доступ до базових моделей, одночасно тісно співпрацюючи з AWS у розробці та цінових показниках. «Я дуже вражений тим, куди вони дійшли», — сказав Хант (на фото вище).
Однією з нових функцій, яка допоможе запровадити AI та GenAI для Amazon Bedrock і нових моделей Nova, є новий висновок AWS, оптимізований за затримкою для FM в Amazon Bedrock. Цей новий висновок з оптимізованою затримкою, оприлюднений на AWS re:Invent цього тижня, має на меті забезпечити швидший час відгуку та покращену чутливість додатків ШІ.
Наразі нові параметри висновків Bedrock підтримують модель Claude 3.5 Haiku від Anthropic і моделі Llama 3.1 405B і 70B від Meta, щоб забезпечити меншу затримку порівняно зі стандартними моделями без шкоди для точності.
«Кілька людей можуть скористатися перевагами спільної оренди, що дозволяє новий висновок, оптимізований затримкою Bedrock, — це просто вбивча функція», — сказав Хант. «З точки зору ціни, він має 25-відсоткову надбавку до ціни інших варіантів Bedrock. Тож ви отримуєте Anthropic 3.5 Haiku та Llama 3.1405b за ціною на 25 відсотків, але сотні жетонів за секунду швидше».
Компанія Caylent, розташована в Ірвайні, штат Каліфорнія, є одним із найінноваційніших партнерів AWS у світі. Цього року компанія отримала нагороду AWS Migration Partner of the Year, нагороду AWS GenAI Industry Solution Partner of the Year та нагороду Industry Partner of the Year за фінансові послуги для Північної Америки.
Цього тижня Caylent запустив власну модель доставки Applied Intelligence, присвячену першим хмарним сервісам ШІ. Він розроблений, щоб знизити бар’єри міграції та модернізації хмари за допомогою стратегічного та навмисного застосування ШІ на кожному етапі еволюції хмари клієнта.
Наприкінці дня технічний директор Caylent сказав, що «всі просто намагаються якнайшвидше отримати токени найвищої якості за найнижчої вартості». «Amazon дає їм змогу цими новими інвестиціями в Trainium і Bedrock, оптимізовану затримку», — сказав Хант. «Ми в захваті від них».
AWS повідомила, що моделі Anthropic Claude 3.5 Haiku та Llama працюють швидше на AWS порівняно з будь-яким іншим великим хмарним постачальником.
Три моделі Nova від Amazon: Micro, Lite і Pro
Моделі Amazon Nova включають три зрозумілі моделі, розроблені для задоволення різних потреб клієнтів: Micro, Lite і Pro.
Amazon Nova Micro — це лише текстова модель, яка забезпечує найнижчу затримку в сімействі моделей Amazon Nova. Завдяки довжині контексту 128 тис. токенів і оптимізованій за швидкістю та вартістю Nova Micro відмінно справляється з такими завданнями, як узагальнення тексту, переклад, класифікація вмісту, інтерактивний чат і мозковий штурм, а також просте математичне міркування та кодування.
Далі йде Amazon Nova Lite, дуже недорога мультимодальна модель, націлена на обробку введених зображень, відео та тексту для створення текстового виводу. Nova Lite може з високою точністю виконувати завдання взаємодії з клієнтами в режимі реального часу, аналізу документів і візуальних відповідей на запитання. Модель обробляє вхідні дані довжиною до 300 000 токенів і може аналізувати кілька зображень або до 30 хвилин відео за один запит.
Нарешті, Amazon Nova Pro — це мультимодальна модель із найкращим поєднанням точності, швидкості та вартості для широкого спектру завдань сімейства Nova. Nova Pro здатна обробляти до 300 000 вхідних токенів і обробляти кодові бази з понад 15 000 рядків коду. AWS каже, що Pro встановлює нові стандарти мультимодального інтелекту та агентських робочих процесів, які потребують виклику API та інструментів для виконання складних робочих процесів.
Провідний виконавчий директор Deloitte Consulting AWS Дж. Б. МакГінніс сказав, що Amazon Nova підкреслює прагнення AWS забезпечити гнучкість і вибір у сфері ШІ.
«Пропонуючи різноманітний набір базових моделей, AWS дає можливість організаціям вибрати інструменти, які найкраще підходять для їхніх конкретних робочих навантажень і галузей», — сказав МакГініс. «Цей підхід усвідомлює, що немає двох однакових компаній, і гарантує, що компанії можуть адаптувати рішення штучного інтелекту відповідно до своїх унікальних потреб».
За його словами, Nova демонструє перехід до адаптивних систем штучного інтелекту, щоб дати підприємствам можливість впроваджувати інновації з точністю та впевненістю, зберігаючи контроль над витратами та масштабованістю. «Це важливий крок у забезпеченні ширшого впровадження в усіх галузях», — сказав МакГініс.