В AI появилась новая профессия — философ
Почему Anthropic, Google DeepMind и другие AI-компании нанимают философов — и почему этот вопрос скоро дойдёт до промышленности.
И это плохая новость для фразы «пусть разработчики сами решат». Ещё несколько лет назад корпоративный философ звучал примерно как корпоративный «шарлатан».
Теперь философов нанимают Anthropic, Google DeepMind и другие крупнейшие AI-компании. Причём не читать лекции сотрудникам, а напрямую участвовать в разработке моделей.
honesty = ?
Почему? Потому что часть проблем AI оказалась вообще не технической. Допустим, мы хотим сделать модель «честной». Отлично. Теперь попробуйте написать функцию: honesty = ?
Что считать ложью, если модель не уверена? Должна ли она говорить неприятную правду? Можно ли скрыть часть информации ради безопасности? Что важнее: выполнить запрос пользователя или предотвратить потенциальный вред?
GPU на эти вопросы не отвечает. И хороший датасет тоже. Сначала кто-то должен формально определить, какого поведения мы вообще хотим от системы.
Поэтому философ внутри AI-команды сегодня работает уже довольно близко к инженеру: помогает формулировать принципы поведения модели, критерии оценки, конфликтующие ценности и правила для ситуаций, которые невозможно перечислить в обычном if / else.
У Anthropic это особенно заметно. Доктор философии Amanda Askell участвовала в создании принципов, лежащих в основе поведения Claude, — по сути, в проектировании того, каким «характером» должна обладать модель.
Отсюда слегка провокационный вывод:
Чем умнее становится software, тем меньше его поведение можно определить только техническим заданием.
Что это значит для промышленности
Для промышленности этот вопрос скоро станет особенно интересным. Представим автономную производственную систему. Она видит, что оборудование работает нестабильно. Остановить линию сейчас — потерять несколько миллионов рублей. Продолжить работу — увеличить вероятность поломки.
Кто должен определить, какой риск допустим? Разработчик? Технолог? Директор производства? Юрист? Или тот самый человек, который умеет сначала правильно сформулировать принципы принятия решения, а уже потом превращать их в алгоритм?
Вот почему появление AI-философов в крупнейших AI-компаниях — не экзотика, а довольно логичный этап развития отрасли. Интересно, что у этой тенденции уже есть и критики: часть исследователей опасается, что такие роли могут превратиться в регламент ради регламента, если философы не будут реально влиять на продуктовые решения. Но это уже тема для отдельного поста.