Image default
Нейросети

Google Gemma 3 запустили на офисном лазерном принтере

Модель с 270 млн параметров работала на встроенном интерпретаторе PostScript. Пиковый расход оперативной памяти составил около 14 МБ, а генерация одного токена занимала около минуты.Автор Hi-Tech Mail

Омар Сансевьеро запустил языковую модель Google Gemma 3 с 270 млн параметров на офисном лазерном принтере Ricoh. По словам автора эксперимента, все вычисления выполнялись на самом принтере, а пиковое потребление оперативной памяти составило около 14 МБ. Об этом Сансевьеро рассказал в своем посте.

С помощью инструмента Carbon Сансевьеро упаковал компактный движок и модель, веса которой были представлены с пониженной точностью, в одно задание на печать. Вычисления выполнил встроенный интерпретатор PostScript Level 3, который обычно обрабатывает документы перед печатью. Менять прошивку и подключать дополнительные вычислительные платы не пришлось.

Чтобы сократить расход оперативной памяти, 18 слоев модели загружали по мере обработки и выгружали после использования. Благодаря этому принтеру не требовалось держать в памяти все веса одновременно. По данным Fanáticos del Hardware, среде PostScript было выделено 244,6 МБ виртуальной памяти.

Читать далее:
Эксперт предупредил о рисках использования ИИ для составления документов

По словам Сансевьеро, генерация одного токена занимала около минуты. В ходе демонстрации принтеру предложили продолжить фразу «Read the fine». Обработка запроса заняла около 184 секунд, а результатом стала распечатка с фразой «Read the fine print» («Читайте мелкий шрифт»), пишет Fanáticos del Hardware.

Ранее Google выпустила Gemini 4 Neon для программирования и анализа данных.

Похожие записи

Бабушки в США заваливают внуков ИИ-фотками с Сантой и в «Полярном экспрессе», а дети в ярости

admin

Создание песен с помощью ИИ: новые возможности для музыкантов и авторов

Alex Matk

Google выпустила бесплатный ИИ-переводчик: можно запустить без интернета

admin