Уверенность в себе

Уверенность, в контексте искусственного интеллекта (ИИ) и машинного обучения (МЛ), представляет собой балл, который модель присваивает своему предсказанию, показывая, насколько модель уверена в этом конкретном результате. В таких задачах, как обнаружение объектов или классификация изображений, каждый обнаруженный объект или присвоенная метка класса сопровождаются оценкой уверенности, которая обычно варьируется от 0 до 1 (или от 0% до 100%). Этот балл помогает пользователям оценить надежность отдельных предсказаний, сделанных такими моделями, как Ultralytics YOLO. Более высокий балл говорит о том, что модель более уверена в своих предсказаниях, основываясь на изученных в процессе обучения закономерностях. Понимание достоверности очень важно для интерпретации результатов работы модели и принятия обоснованных решений на основе прогнозов ИИ, особенно в таких критически важных для безопасности приложениях, как ИИ в автомобильных решениях.

Как определяется уверенность в себе

Показатели доверия обычно выводятся из выходного слоя нейронной сети (НС). Для задач классификации это часто включает применение функции активации типа Softmax или Sigmoid к необработанным выходам (логитам), чтобы получить значения, похожие на вероятности, для каждого класса. В моделях обнаружения объектов, таких как YOLO, показатель уверенности может сочетать в себе вероятность присутствия объекта в предложенном ограничительном поле (часто называемую "показателем объектности") и вероятность того, что этот объект принадлежит к определенному классу, при условии, что объект присутствует. Это ключевой результат, используемый в процессе вывода для оценки достоверности обнаружений. Этот показатель рассчитывается на основе весовых коэффициентов модели, полученных из таких наборов данных, как COCO.

Порог доверия

На практике не все предсказания модели одинаково полезны и надежны. Предсказания с очень низкими показателями доверия часто представляют собой фоновый шум или неопределенные классификации. Чтобы отфильтровать их, обычно применяется "порог доверия". Это заданное пользователем значение (например, 0,5 или 50 %); только предсказания с показателем уверенности выше этого порога считаются достоверными результатами. Установка подходящего порога очень важна и часто зависит от конкретного приложения:

• Сценарии с высоким уровнем запоминания: В таких приложениях, как анализ медицинских изображений для скрининга, можно изначально использовать более низкий порог, чтобы минимизировать вероятность пропуска потенциальных находок (высокий отзыв), даже если это означает больше ложных срабатываний, требующих человеческой проверки. ИИ в здравоохранении часто предполагает тщательную настройку порога.
• Сценарии с высокой точностью: В таких приложениях, как автономное вождение или контроль качества при использовании ИИ в производстве, предпочтительнее использовать более высокий порог, чтобы действия предпринимались только на основе высокоточных прогнозов (высокая точность), что снижает риск ошибок. Исследования в области безопасности ИИ делают акцент на надежном принятии решений.

Порог доверия часто работает в сочетании с такими техниками, как Non-Maximum Suppression (NMS), чтобы уточнить конечный набор обнаружений, удаляя перекрывающиеся ограничительные рамки для одного и того же объекта. Ты можешь легко настроить этот порог при использовании моделей Ultralytics через интерфейс командной строки (CLI) или Python API. Поиск оптимального порога может включать в себя настройку гиперпараметров.

Применение в реальном мире

Показатели доверия являются основополагающими для ответственного и эффективного внедрения моделей ИИ:

1. Поддержка медицинской диагностики: В системах, анализирующих медицинские снимки (например, рентгеновские или магнитно-резонансные) на предмет потенциальных аномалий(например, обнаружения опухолей), показатель уверенности помогает расставить приоритеты. Прогноз с низким уровнем доверия может указывать на неоднозначную находку, требующую более тщательного изучения рентгенологом, в то время как прогнозы с высоким уровнем доверия могут упростить процесс рассмотрения. В исследованиях по ИИ в радиологии часто обсуждаются уровни доверия.
2. Автономные системы: Для самоуправляемых автомобилей или робототехники показатели уверенности имеют решающее значение для безопасности. Обнаружение пешехода или другого автомобиля(узнай о подходе Waymo) должно соответствовать высокому порогу доверия, прежде чем система начнет действовать, например тормозить или сворачивать. Обнаружения с низким порогом уверенности могут быть проигнорированы или вызвать менее важные предупреждения. Это гарантирует, что система будет действовать решительно только в случае уверенности.

Уверенность в себе по сравнению с другими показателями

Важно не путать показатель уверенности отдельного предсказания с общими метриками оценки модели. Хотя они и связаны между собой, но измеряют разные аспекты производительности:

• Точность: Измеряет общий процент правильных предсказаний по всему набору данных. Она дает общее представление о производительности модели, но не отражает уверенность отдельных предсказаний. Модель может иметь высокую точность, но при этом делать некоторые предсказания с низкой уверенностью.
• Точность: Показывает долю положительных предсказаний, которые на самом деле оказались верными (True Positives / (True Positives + False Positives)). Высокая точность означает меньшее количество ложных срабатываний. Уверенность отражает веру модели в свое предсказание, которая может совпадать, а может и не совпадать с правильностью.
• Вспомни (Sensitivity): Измеряет долю реальных положительных случаев, которые модель правильно определила (True Positives / (True Positives + False Negatives)). Высокий показатель recall означает меньшее количество пропущенных обнаружений. Уверенность не имеет прямой связи с тем, сколько реальных положительных случаев было найдено.
• F1-Score: Среднее гармоническое значение Precision и Recall, обеспечивающее единую метрику, которая уравновешивает оба показателя. Confidence остается показателем уровня предсказания.
• Средняя точность (mAP): Общая метрика в обнаружении объектов, которая обобщает кривую "точность-отзыв " для разных порогов уверенности и классов. В то время как при расчете mAP используются пороги уверенности, сам показатель уверенности применяется к каждому отдельному обнаружению.
• Калибровка: Относится к тому, насколько хорошо баллы доверия соответствуют реальной вероятности правильности. Хорошо откалиброванные предсказания модели с доверительной вероятностью 80% должны быть верными примерно в 80% случаев. Показатели уверенности моделей не всегда по своей сути хорошо откалиброваны(см. исследование о калибровке).

В общем, уверенность - это ценный показатель для оценки уверенности отдельных предсказаний ИИ, позволяющий лучше фильтровать, расставлять приоритеты и принимать решения в реальных приложениях. Он дополняет, но отличается от метрик, оценивающих общую производительность модели, таких как те, что отслеживаются в Ultralytics HUB.