MIT: RLCR учит модели ИИ говорить «не уверен» и улучшает калибровку

Друзья, хочу поделиться из мира ИИ: исследователи MIT CSAIL предложили метод RLCR для оценки собственной уверенности у моделей.

- Что сделали: добавили в функцию вознаграждения штраф по Brier score, чтобы модель выдавала оценку уверенности вместе с ответом.
- Результат: калибровочная ошибка снизилась до 90% без потери точности; эффект сохранился на новых задачах.
- Практика: модели учатся «думать» о своей неуверенности, это повышает качество выбора ответов.

Почему это важно: снижает риск вводящей в заблуждение уверенности в критичных сферах.

Готовы ли продукты на базе ИИ внедрять такую тренировку?

#ИИ #машинноеобучение #безопасность #MIT