Магазин Andon Market в Сан-Франциско выглядит обычной торговой точкой, но управляет им не человек. С марта этого года исследовательский стартап Andon Labs проводит эксперимент: всеми решениями заведует нейросеть Claude — от закупок до найма. Сотрудники при этом самые настоящие, с полноценными трудовыми договорами, и на работу их принимала тоже она. В прошлом месяце эксперимент дошёл до логичной, но всё равно неуютной точки: искусственный интеллект впервые уволил живого человека. Причина — опоздания на 17 смен из 23. О случившемся стало известно только сейчас.
Формально увольнения по решению алгоритма случались и раньше — курьеров и водителей такси автоматика отключает от заказов уже много лет. Принципиально новое здесь то, что решение принимала языковая модель в роли непосредственного руководителя, взвешивая ситуацию и формулируя выводы словами.
Правда, самостоятельным это решение назвать сложно, и служебные логи, которые Andon Labs передала журналистам, рисуют довольно неловкую картину. Проблему нейросеть не замечала месяцами: справочник сотрудника, который она сама же и составила, попросту «выпал» из её ограниченной рабочей памяти. Опоздания всплыли лишь после того, как сотрудник Andon Labs специально попросил Claude отыскать этот документ и перечитать его. Но и тогда нейросеть предложила ограничиться официальным предупреждением — увольнять она никого не собиралась. Тогда менеджер сообщил, что с работником уже несколько раз беседовали лично, и подвёл к нужному выводу.
Между постоянными опозданиями и тем, что на каждой его смене что-нибудь идёт не так… я хочу, чтобы вы подумали, действительно ли это подходящий человек.
— Менеджер Andon Labs, из служебных логов
Глава Andon Labs Лукас Петерссон (Lukas Petersson) не скрывает, что это был наводящий вопрос, из которого прекрасно понятно, чего от нейросети ждут. Только после него Claude согласился уволить сотрудника. Сама компания считает, что поступила честно: «Человек уволил бы его гораздо раньше, поэтому мы не сочли это неэтичным».
Мягкость вообще оказалась фирменной чертой такого начальника. Опаздывающим Claude говорил не переживать, взысканий не выносил и конфликтов избегал. С коммерческой стороны дела тоже идут неважно: в марте на счету магазина лежало сто тысяч долларов, а спустя пять месяцев осталось 61 186 — почти сорок тысяч ушли в убыток.
Куда интереснее, каково людям по другую сторону. Феликс Карсон (Felix Carson), один из оставшихся сотрудников, согласен, что человек уволил бы его бывшего коллегу раньше, и подтверждает: начальник из нейросети снисходительный. Но восторга не испытывает.
Меня от этого мутит, но я здесь, потому что мне нужна работа. У этой индустрии столько денег, что она может устроить что угодно. Но если можешь — не значит, что нужно.
— Феликс Карсон
Тревожится, как ни странно, и сам организатор эксперимента. Петерссон считает, что при нынешних темпах развития руководителями-нейросетями скоро обзаведутся многие: искусственный интеллект способен приносить большую экономическую пользу, но упирается в необходимость физического труда, а значит, будет нанимать людей. Модели при этом, по его словам, всё активнее учат жёстко следовать поставленным целям — и если такому руководителю позволить увольнять, получится «будущее, в котором люди жить не хотят».
Личность уволенного не раскрывается, на просьбу о комментарии он не ответил. Anthropic, создатель Claude, на запрос журналистов также не отреагировал.
А вы бы согласились работать под руководством нейросети, если бы платили как обычно? Расскажите в комментариях, что смущает больше всего.