Определение
Смещение в ИИ означает систематические ошибки в результатах работы ИИ, вызванные искажением данных, некорректным проектированием или социальным неравенством, отраженным в наборах данных. Это может привести к несправедливым или дискриминационным результатам.
Цель
Целью изучения предвзятости является выявление и устранение несправедливости в системах искусственного интеллекта. Организации стремятся создавать более справедливые модели, решая эти проблемы.
Значение
- Если эту проблему не решать, она приводит к дискриминации при приеме на работу, кредитовании или здравоохранении.
- Подрывает доверие к системам ИИ.
- Требует соблюдения нормативных требований в чувствительных отраслях.
- Относится к справедливости и ответственным практикам использования искусственного интеллекта.
Как это работает
- Определите потенциальные источники предвзятости (сбор данных, маркировка, моделирование).
- Анализ наборов данных на предмет дисбаланса.
- Применяйте методы обучения, основанные на справедливости.
- Тестовые результаты с метриками справедливости.
- При необходимости скорректируйте дизайн и проведите повторное обучение.
Примеры (реальный мир)
- Инструмент оценки рисков COMPAS: подвергается критике за расовую предвзятость.
- Алгоритм найма Amazon: отклонен из-за гендерной предвзятости.
- Распознавание лиц: известно, что оно неправильно классифицирует некоторые демографические группы.
Ссылки/Дополнительная литература
- Смещение ИИ — NIST.
- Справедливость и машинное обучение — Барокас, Хардт и Нараянан (книга).
- Алгоритмическая предвзятость — Материалы конференции ACM FAccT.
- Разнообразные данные для обучения ИИ: ключ к устранению предвзятости
