Не секрет, что в гонке за чем-либо любыми средствами первой страдает оптимизация процессов. Все проблемы с ресурсоёмкими ИИ как раз об этом. Об оптимизации вспоминают только тогда, когда ресурс для продолжения гонки подходит к концу или его перестаёт хватать всем. Своими санкциями США поставили китайских разработчиков в положение, когда оптимизация становится единственным выходом из кризиса дефицита ресурсов. Но это не просто выход — это шанс на прорыв.
В частности, исследователи из Пекинского университета (Peking University) создали экспериментальную вычислительную систему, в которой несколько обычных электронных процессоров обменивались данными через кремниевые фотонные передатчики и оптический коммутатор. Во время экспериментов платформа выполнила нейросетевую задачу шумоподавления почти в 149 раз быстрее графического процессора, хотя её номинальная вычислительная производительность составляла лишь около 11,6 % от производительности GPU: около 1,97 против 16,96 Тфлопс.
Система состояла из пяти программируемых логических матриц FPGA (ПЛИС), на каждой из которых был размещён один слой пятислойной свёрточной нейросети. Между платами установили кремниевые фотонные трансиверы со скоростью 400 Гбит/с и оптический коммутатор 16 × 16. Четыре канала передачи данных по 100 Гбит/с передавались по общему волокну на четырёх длинах волн. Коммутатор имел потери менее 5 дБ и теоретически мог соединять до 16 вычислительных чипов с совокупной пропускной способностью 6,4 Тбит/с.
Главным преимуществом решения стала конвейерная обработка. Каждая ПЛИС постоянно выполняла обработку своего слоя нейросети и сразу передавала промежуточный результат следующему чипу по оптическому каналу. Благодаря этому не требовалось после обработки каждого слоя сохранять данные во внешней памяти и затем загружать их обратно — именно такие операции создают так называемую «стену памяти» и тормозят работу GPU. Тысяча изображений размером 32 × 32 пикселя была обработана за 105,16 мкс, тогда как контрольный GPU затратил на те же операции 15,643 мс, а эффективность использования вычислительных блоков ПЛИС достигла впечатляющих 94,7 %.
Для эксперимента учёные использовали простую пятислойную нейросеть с ядрами 5 × 5 и набор данных Fashion-MNIST. Было бы заманчиво увидеть подобные эксперименты с большими языковыми или другими современными генеративными моделями. Пока этого нет, но уже сейчас опыт даёт наглядное представление о громадном резерве ускорения ИИ при правильной оптимизации.
«Конкретные задачи могут быть реализованы при ограниченных вычислительных ресурсах, когда совместно разрабатываются алгоритмы, микроархитектуры процессоров и межсоединения на уровне чипов, — резонно отмечают авторы работы. — Эта структура также может снизить нерациональное потребление энергии в центрах обработки данных и оптимизировать задержку или потребление в сценариях с передовыми вычислениями».