Контекстна ідентифікація цілей розвитку: методологія агента оцінки AI

Університети стикаються з гострою глобальною конкуренцією в сучасному академічному середовищі, причому інституційні рейтинги все більше прив’язуються до Цілей сталого розвитку ООН (ЦСР) як критично важливого критерію оцінки соціального впливу. Ці рейтинги значно впливають на ключові інституційні параметри, такі як можливості фінансування, міжнародна репутація та стратегії залучення студентів. Поточний методологічний підхід до відстеження результатів досліджень, пов’язаних із ЦСР, спирається на традиційні булеві пошукові запити на основі ключових слів, які застосовуються в академічних базах даних. Однак цей підхід має суттєві обмеження, оскільки він часто дозволяє класифікувати зовні релевантні документи як такі, що відповідають ЦСР, незважаючи на відсутність істотного внеску в реальні цілі ЦСР.

Існуючі дослідження вивчали різні підходи до усунення обмежень традиційних булевих методологій пошуку для виявлення досліджень, пов’язаних із ЦСР. Методи розширення запитів із використанням великих мовних моделей (LLM) з’явилися як потенційне рішення, намагаючись створити семантично відповідні терміни та розширити можливості пошуку. Дослідження класифікації SDG з кількома мітками порівнювали різні LLM, щоб підвищити точність міток і мінімізувати помилкові спрацьовування. Фреймворки генерації з доповненим пошуком (RAG) із використанням таких моделей, як Llama2 і GPT-3.5, були досліджені для ідентифікації текстових уривків, узгоджених із конкретними цілями ЦСР. Незважаючи на ці досягнення, існуючим методам важко відрізнити значущі дослідницькі внески від поверхневих згадок.

Дослідники з університетських бібліотек Virginia Tech Blacksburg запропонували інноваційний підхід до ідентифікації досліджень ЦСР за допомогою агента оцінки ШІ. У цьому методі використовується LLM, спеціально розроблений для розрізнення рефератів, які демонструють справжній внесок у досягнення цілей ЦСР, і тих, у яких лише поверхнево згадуються терміни, пов’язані з ЦСР. Запропонований підхід використовує структуровані рекомендації для оцінки рефератів досліджень, зосереджуючись на визначенні конкретних вимірюваних дій або результатів, які безпосередньо відповідають цілям ЦСР. Використовуючи науку про дані та текстову аналітику великих даних, дослідники прагнуть обробляти наукові бібліографічні дані з тонким розумінням мови та контексту.

Методологія дослідження включає детальний підхід до пошуку та попередньої обробки даних з використанням Scopus як основного джерела. Дослідники зібрали набір із 20 тисяч журнальних статей і тез конференцій для кожної з 17 ЦСР, використовуючи пошукові запити, розроблені Elsevier’s SDG Research Mapping Initiative. Цей підхід визнає взаємопов’язану природу ЦСР, що дозволяє позначати документи зі спільними ключовими словами для кількох категорій цілей. Агент оцінювання було реалізовано за допомогою трьох компактних LLM: Phi-3.5-mini-instruct від Microsoft, Mistral-7B-Instruct-v0.3 і Llama-3.2-3B-Instruct від Meta. Ці моделі вибрано через невеликий обсяг пам’яті, можливості локального хостингу та великі вікна контексту, що забезпечує точну абстрактну класифікацію за допомогою підказок на основі інструкцій.

Результати дослідження показують значні відмінності в інтерпретації релевантності в різних LLM. Наприклад, Phi-3.5-mini демонструє збалансований підхід, позначаючи 52% тез як «релевантні» та 48% як «нерелевантні». Навпаки, Mistral-7B демонструє більш розширену класифікацію, відносячи 70% тез до категорії «Відповідні», тоді як Llama-3.2 демонструє дуже вибірковий підхід, позначаючи лише 15% як «Відповідні». Крім того, Llama-3.2 демонструє мінімальний перетин з іншими моделями, вказуючи на більш суворі критерії фільтрації. Класифікації «Нерелевантні» показують більш високу узгодженість моделі, причому значна частка рефератів послідовно класифікується як нерелевантні в усіх трьох LLM.

На завершення дослідники демонструють потенціал невеликих локальних LLM як агентів оцінки для підвищення точності класифікації наукового внеску за цілями Цілей сталого розвитку (ЦСР). Ураховуючи контекстуальні та семантичні обмеження, притаманні традиційним методологіям на основі ключових слів, ці моделі демонструють складну здатність розрізняти справжні дослідницькі внески та поверхневі згадки в обширних наборах бібліографічних даних. Незважаючи на багатообіцяючі результати, дослідники визнають кілька важливих обмежень, у тому числі потенційну чутливість у швидкому проектуванні, яка може вплинути на можливість узагальнення, використання рефератів, а не повних текстів статей, і поточну увагу до ЦСР 1.

Виїзд Папір. Вся заслуга в цьому дослідженні належить дослідникам цього проекту. Крім того, не забувайте слідкувати за нами Twitter і приєднайтеся до нашого Телеграм канал і LinkedIn грвгору. Якщо вам подобається наша робота, ви будете любити нашу інформаційний бюлетень.. Не забудьте приєднатися до нашого 55k+ ML SubReddit.

🎙️ 🚨 «Оцінка вразливостей великої мовної моделі: порівняльний аналіз методів Red Teaming» Прочитайте повний звіт _{(підвищено)}

Саджад Ансарі є студентом останнього курсу IIT Kharagpur. Як технічний ентузіаст, він заглиблюється в практичне застосування штучного інтелекту, зосереджуючись на розумінні впливу технологій штучного інтелекту та їх реальних наслідків. Він прагне сформулювати складні концепції штучного інтелекту в зрозумілій і доступній формі.