Глава OpenAI Сэм Альтман считает, что в условиях дефицита оперативной памяти массовый переход к локальному запуску ИИ-моделей может оказаться не самым эффективным способом использования ограниченных мировых запасов DRAM. Об этом он рассказал в новом выпуске подкаста Cheeky Pint с сооснователем Stripe Джоном Коллисоном.
Разговор начался с обсуждения резкого роста стоимости памяти и того, почему рынок пока не способен быстро компенсировать нехватку предложения. По словам Альтмана, производство DRAM исторически было крайне цикличным бизнесом: компании вкладывали десятки миллиардов долларов в новые мощности, после чего регулярно сталкивались с перепроизводством и падением доходности.
Именно поэтому нынешние производители памяти, по его мнению, осторожно относятся к резкому увеличению капитальных расходов. Альтман отметил, что многие компании отрасли хорошо помнят периоды, когда избыточное строительство фабрик едва не приводило их к банкротству.
Затем разговор перешёл к локальному запуску нейросетей. Альтман отметил, что многие пользователи считают появление открытых моделей решением проблемы вычислительных мощностей: модель можно запустить на собственном компьютере и отказаться от инфраструктуры дата-центров.
Однако глава OpenAI не согласился с таким подходом с точки зрения глобального распределения ресурсов. По его словам, при ограниченных запасах DRAM неэффективно распределять значительную часть этой памяти между огромным количеством персональных компьютеров, где она используется лишь небольшую часть времени.
Альтман привёл оценку в 5% времени, заявив, что при дефиците памяти предпочтительнее добиваться максимально высокой загрузки ресурсов в облачной инфраструктуре.
С точки зрения глобального распределения ресурсов довольно плохо, когда у каждого находится часть ограниченного мирового запаса DRAM в собственном компьютере и используется 5% времени.
По его мнению, в условиях дефицита максимальная загрузка памяти в облаке позволяет использовать ограниченный ресурс эффективнее. Альтман также отметил, что интуиция многих пользователей по этому вопросу оказывается противоположной.
При этом он не выступал против локальных нейросетей как таковых и не заявлял, что персональные компьютеры должны отказаться от оперативной памяти. Речь шла именно об эффективности использования DRAM в условиях ограниченного предложения и стремительно растущего спроса на вычислительные ресурсы.
В том же разговоре Альтман заявил, что нынешний рынок пока плохо реагирует на высокие цены и дефицит. Среди других узких мест инфраструктуры он также упомянул турбины, аккумуляторы, бетон, сталь и отдельные компоненты для промышленных роботов.