Поширити Джерело: online.ua
В рамках великого дослідження Microsoft Research і Salesforce було з’ясовано, що популярні чат-боти ШІ стають “менш розумними” після тривалого контакту з людьми. Важливо відзначити, що загальний рівень неточностей чат-ботів може збільшитися більше ніж на 100% при розгляді понад 200 тисяч розмов.
Ключові положення:
- Жодна з моделей ШІ ще не готова до тривалого природного спілкування з людьми.
- Не слід розглядати ШІ як джерело абсолютної та надзвичайно важливої інформації.
Взаємодія ШІ та людей викликала непередбачувані наслідки
На даний момент великі мовні моделі перебувають на вершині своєї популярності — їхніми послугами користуються сотні мільйонів користувачів у різних частинах світу.
Однак юзери все частіше зіштовхуються з “галюцинаціями” та невірними відповідями під час взаємодії з чат-ботами.
Завдяки дослідженню Microsoft та Salesforce нарешті стало можливо дізнатися, що насправді відбувається з відомими ШІ, пише windowscentral.
Як з’ясувалося, навіть найкращі нейромережі іноді “заплутуються” під час бесіди, коли завдання ділиться на природний людський діалог з декількох реплік.
Експерти вирішили проаналізувати понад 200 000 таких діалогів з участю GPT-4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet та DeepSeek R1.
Так, стало відомо, що в рамках роботи з окремими запитами зазначені моделі показують більше 90% вдалих відповідей.
Проте під час розлогих бесід з уточненнями та додатковими питаннями показник знижується до 65%.
Різке зменшення якості в довгих бесідах не говорить про те, що моделі “стають тупішими” в прямому сенсі — скоріше, це вказує на їх обмежені можливості в утриманні та точній інтерпретації великого обсягу інформації в процесі діалогу.
Поширити