BEIJING-Откъсване от модели като Chatgpt, екип от китайски изследователи е разработил нова AI система, която имитира мозъчните неврони, очертавайки нов курс за енергийно ефективни изчисления и хардуер от следващ поколение.
Учени от Института за автоматизация в Китайската академия на науките въведоха „SpikingBrain-1.0“, мащабен модел, обучен и изведен изцяло на домашни изчисления на GPU.
За разлика от основните генеративни AI системи, които разчитат на интензивната архитектура на трансформаторите-където интелигентността расте с все по-големи мрежи, изчислителни бюджети и набори от данни-новият модел преследва различен път, позволявайки на интелигентността да се появи от шипове на неврони.
Този модел дава възможност за високоефективно обучение на изключително ниски обеми на данни. Използвайки само около 2 процента от данните за предварително обучение, изисквани от масовите големи модели, той постига производителност, сравнима с множество модели с отворен код за разбиране на езика и предизвикателства за разсъждения, според екипа.
Чрез използване на базирани на събития неврони на етапа на извода, е показано един вариант на SpikingBrain, който доставя 26,5-кратно ускоряване на трансформаторните архитектури, когато генерира първия маркер от един милионна контекст.
Моделът „способност за обработка на ултра-дълги последователности предлага ясни печалби от ефективност за задачи като правен или медицински анализ на документи, експерименти с високоенергични частици и моделиране на ДНК последователността.
Изследователският екип е с отворен източник на модела SpikingBrain и стартира страница с публични тестове, заедно с пускането на мащабен, валиден двуезичен технически доклад.
„Този голям модел отваря технически път, който не е трансформатор за новото поколение разработка на AI“, казва Сю Бо, директор на Института за автоматизация. „Това може да вдъхнови дизайна на невроморфни чипове от следващо поколение с по-ниска консумация на енергия.“
Съобщава се миналата година в Nature Communications, учени от Института, работещи с швейцарски колеги, разработиха енергийно ефективен сензор, изчисляващ невроморфен чип, който имитира невроните и синапсите на човешкия мозък.
Чипът, наречен „Speck“, може да се похвали с впечатляващо ниска консумация на мощност от покой от само 0,42 милиута, което означава, че консумира почти никаква енергия, когато няма вход.
Човешкият мозък, способен да обработва невероятно сложни и експанзивни невронни мрежи, работи с обща консумация на енергия от само 20 вата, значително по -ниска от тази на сегашните AI системи.
Източник Българо-Китайска Търговско-промишлена палaта