Мы редко сомневаемся в базовых решениях, которые принимаем в повседневной жизни. Но при этом нам трудно понять, как формируются наши предпочтения, эмоции и желания в текущий момент. То же самое происходит и с ИИ: разработчикам все труднее объяснить, почему созданные ими алгоритмы работают определенным образом и дают такие результаты.
Большинство систем ИИ представляют собой классические модели черного ящика. То есть, эти системы рассматриваются только с точки зрения того, что у них на входе, и того, что на выходе. Разработчики просто получают результаты, и сравнивают их с теми, которые хотели бы получить. Они не пытаются «расшифровать черный ящик» или понять те непрозрачные процессы, которые выполняет система, пока занимается поиском результата.
По мере того, как системы ИИ становятся все более сложными, ученые все меньше способны их понимать. Поэтому исследователи ИИ и предупреждают разработчиков, чтобы они уделяли больше внимания тому, почему система дает определенные результаты, и встроили в свои системы механизмы, помогающие определить причины тех или иных решений внутри «черного ящика».
В последние годы некоторые представители отрасли начали развивать другой подход — «модели белого ящика», которые работают прозрачнее и дают более объясняемые результаты.
Пока что «белый ящик» — это довольно нишевая идея, и «черный ящик», является доминирующим методом обучения всех моделей ИИ, от Alpha Zero до GPT-3. Это просто самый быстрый метод достижения результата.
Более сложная проблема заключается в том, что многие системы искусственного интеллекта разработаны с учетом концепции универсализма — идеи о том, что «система хороша, если она работает везде и для всех в любое время»
Устранение предвзятости наборов данных, на которых обучаются системы ИИ, практически невозможно в обществе, где сам Интернет является предвзятым. Решения тут два: или использовать сравнительно небольшие наборы данных, где разработчики контролируют, что в них появляется, или проектировать систему изначально с учетом наличия в ней предвзятости, с пониманием того, что данные не идеальны.