Как Liquid Neural Networks от MIT могут решить проблемы искусственного интеллекта, от робототехники до самообслуживания

Jul 21, 2023

Посетите нашу библиотеку по запросу, чтобы просмотреть сеансы VB Transform 2023. Зарегистрируйтесь здесь.

В современном мире искусственного интеллекта (ИИ) ажиотаж вокруг больших языковых моделей (LLM) привел к гонке за создание все более крупных нейронных сетей. Однако не каждое приложение может удовлетворить требования к вычислениям и памяти очень больших моделей глубокого обучения.

Ограничения этих сред привели к появлению некоторых интересных направлений исследований. Жидкие нейронные сети, новый тип архитектуры глубокого обучения, разработанный исследователями Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL), предлагают компактное, адаптируемое и эффективное решение определенных проблем искусственного интеллекта. Эти сети предназначены для решения некоторых проблем, присущих традиционным моделям глубокого обучения.

Жидкие нейронные сети могут стимулировать новые инновации в области искусственного интеллекта и особенно интересны в тех областях, где традиционные модели глубокого обучения испытывают трудности, таких как робототехника и беспилотные автомобили.

«Вдохновением для создания жидких нейронных сетей послужило размышление о существующих подходах к машинному обучению и рассмотрение того, как они сочетаются с критически важными для безопасности системами, которые предлагают роботы и периферийные устройства», — рассказала VentureBeat Даниэла Рус, директор MIT CSAIL. «На роботе вы не сможете запустить большую языковую модель, потому что для этого на самом деле нет вычислительной [мощности] и [хранилища] пространства».

VB Transform 2023 по требованию

Вы пропустили сеанс VB Transform 2023? Зарегистрируйтесь, чтобы получить доступ к библиотеке по требованию для всех наших избранных сессий.

Рус и ее коллеги хотели создать нейронные сети, которые были бы одновременно точными и эффективными в вычислениях, чтобы они могли работать на компьютерах роботов без необходимости подключения к облаку.

В то же время их вдохновили исследования биологических нейронов, обнаруженных в небольших организмах, таких как червь C. Elegans, который выполняет сложные задачи, имея не более 302 нейронов. Результатом их работы стали жидкие нейронные сети (LNN).

Жидкие нейронные сети представляют собой значительный отход от традиционных моделей глубокого обучения. Они используют математическую формулировку, которая требует меньше вычислительных затрат и стабилизирует нейроны во время обучения. Ключ к эффективности LNN заключается в использовании динамически настраиваемых дифференциальных уравнений, что позволяет им адаптироваться к новым ситуациям после обучения. Это возможность, которой нет в типичных нейронных сетях.

«По сути, мы увеличиваем способность нейрона к обучению представлению по сравнению с существующими моделями на два пункта», — сказал Рус. «Во-первых, это своего рода модель пространства состояний с хорошим поведением, которая повышает стабильность нейронов во время обучения. А затем мы вводим нелинейности в синаптические входы, чтобы повысить выразительность нашей модели как во время обучения, так и во время вывода».

LNN также используют архитектуру соединений, которая отличается от традиционных нейронных сетей и допускает боковые и рекуррентные соединения внутри одного и того же уровня. Базовые математические уравнения и новая архитектура проводки позволяют жидким сетям изучать модели непрерывного времени, которые могут динамически корректировать свое поведение.

«Эта модель очень интересна, потому что ее можно динамически адаптировать после обучения на основе входных данных, которые она видит», — сказал Рус. «И константы времени, которые он наблюдает, зависят от входных данных, которые он видит, и поэтому благодаря такой формулировке нейрона у нас гораздо больше гибкости и адаптации».

Одной из наиболее ярких особенностей LNN является их компактность. Например, классической глубокой нейронной сети требуется около 100 000 искусственных нейронов и полмиллиона параметров для выполнения такой задачи, как удержание автомобиля на своей полосе движения. Напротив, Рус и ее коллеги смогли обучить LNN выполнять ту же задачу всего с 19 нейронами.

По словам Руса, это значительное сокращение размера имеет несколько важных последствий. Во-первых, это позволяет модели работать на небольших компьютерах, используемых в роботах и ​​других периферийных устройствах. А во-вторых, с меньшим количеством нейронов сеть становится гораздо более интерпретируемой. Интерпретируемость является серьезной проблемой в области ИИ. При использовании традиционных моделей глубокого обучения может быть сложно понять, как модель пришла к тому или иному решению.