Китайски учени показаха фотонен AI чип: инференс почти със скоростта на светлинатаhttps://paralell.eu/it/kitajski-ucheni-pokazaha-fotonen-ai-chip-inferens-pochti-sas-skorostta-na-svetlinata/?utm_source=rss&utm_medium=rss&utm_campaign=kitajski-ucheni-pokazaha-fotonen-ai-chip-inferens-pochti-sas-skorostta-na-svetlinataКитайски учени представиха нов клас AI чипове, които работят със светлина, а не с електрически ток. Вместо електрони, те използват фотони. Така изчисленията се случват почти със скоростта на светлината. Освен това се намаляват латентността и загубите на енергия по пътя. Подобни решения са особено ценни при модели, които изискват масивни паралелни операции.
Фотонен ускорител за инференс, а не универсален заместител на GPU
Проектът е разработен от екипи на Tsinghua University и Shanghai Jiao Tong University. Те са проектирали оптична невронна мрежа, която изпълнява задачи за AI инференс с много висока скорост. В тестове за матрично умножение, ключова операция при генеративните модели, фотонният прототип е показал резултати, описани като над 100 пъти по-бързи от конвенционални електронни процесори. Сравненията включват и висок клас GPU решения на NVIDIA.
Този тип матрични операции са „работният кон“ на трансформър моделите. Те се повтарят милиарди пъти при инференс. Затова всяко ускорение там носи голям ефект. При фотонните схеми изчислението може да се реализира чрез оптична интерференция и фазови елементи. Данните се кодират в светлинни сигнали. След това се измерват в изхода. Така част от смятането се случва „естествено“ в оптиката.
Паралелно със скоростта, изследването отчита и големи печалби в енергийната ефективност. Светлинните изчисления отделят значително по-малко топлина от транзисторните схеми. Това е важно за бъдещите центрове за данни. Там търсенето на мощност расте. В същото време охлаждането вече е голям разход и ограничение. Затова фотонните подходи се разглеждат като път към по-устойчив AI мащаб.
Учените подчертават, че технологията е специфична по задача. Чипът не е създаден да замени GPU навсякъде. Например, той не е насочен към игри или универсални изчисления. Вместо това може да служи като специализиран ускорител. Подходящ е за натоварвания като генериране на изображения, разпознаване на шаблони и инференс при големи езикови модели. На практика решенията често са хибридни. Част от системата остава електронна. Това включва управление и вход-изход.
Макар да е на експериментално ниво и публикуван в рецензирано научно издание, резултатът показва растящ импулс на Китай в пост-силициевите изчисления. Накрая, глобалното търсене на по-бърз и по-ефективен AI хардуер продължава да расте. Това прави подобни прототипи все по-значими.
