💬 Ученые обнаруживают биологическое эхо в моделях мощных ИИ-трансформеров

Ученые обнаруживают биологическое эхо в моделях мощных ИИ-трансформеров

Электронные нейронные сети, одна из ключевых концепций исследований в области искусственного интеллекта, с самого начала черпали вдохновение в биологических нейронах, о чем свидетельствует их название. Новое исследование показало, что влиятельная архитектура преобразователя ИИ также имеет неожиданные параллели с нейробиологией человека.

В совместном исследовании ученые предполагают, что биологические сети астроцитов и нейронов могут имитировать основные вычисления трансформаторов. Или наоборот. Результаты, о которых сообщают совместно Массачусетский технологический институт, лаборатория MIT-IBM Watson AI Lab и Гарвардская медицинская школа, были опубликованы на этой неделе в журнале Proceedings of the National Academy of Sciences.

Астроцитарно-нейронные сети представляют собой сети клеток головного мозга, состоящие из двух типов клеток: астроцитов и нейронов. Астроциты — это клетки, которые поддерживают и регулируют нейроны — клетки головного мозга, посылающие и принимающие электрические импульсы. Их деятельность в основном мыслительная. Астроциты и нейроны разговаривают друг с другом с помощью химических веществ, электричества и осязания. С другой стороны, преобразователи ИИ, впервые представленные в 2017 году, являются одной из базовых технологий, лежащих в основе генеративных систем, таких как ChatGPT. -- собственно, отсюда и взялась буква "Т" в GPT. В отличие от нейронных сетей, обрабатывающих входные данные последовательно, трансформеры могут напрямую обращаться ко всем входным данным с помощью механизма, называемого самовниманием. Это позволяет им изучать сложные зависимости в таких данных, как текст.

Исследователи сосредоточились на трехсторонних синапсах, которые представляют собой соединения, где астроциты образуют связи между нейроном, который посылает сигналы (пресинаптический нейрон), и нейроном, который получает сигналы (постсинаптический нейрон).

Используя математическое моделирование, они продемонстрировали, как интеграция сигналов астроцитами с течением времени может обеспечить необходимую пространственную и временную память для самовосприятия. Их модели также показывают, что биологический преобразователь можно построить, используя передачу сигналов кальция между астроцитами и нейронами. TL;DR, это исследование объясняет, как построить органический трансформатор.

«Астроциты оставались электрически бесшумными на протяжении более века записей мозга, астроциты являются одними из самых распространенных, но менее изученных клеток в мозге», — сказал Массачусетскому технологическому институту Константинос Михмизос, доцент кафедры компьютерных наук Университета Рутгерса. «Потенциал раскрытия вычислительная мощность другой половины нашего мозга огромна».

Гипотеза использует новые доказательства того, что астроциты играют активную роль в обработке информации, в отличие от их ранее предполагаемых домашних функций. В нем также описывается биологическая основа преобразователей, которые могут превзойти традиционные нейронные сети в решении таких задач, как создание связного текста.

Предлагаемые биологические преобразователи могут дать новое представление о человеческом познании, если будут подтверждены экспериментально. Тем не менее, между людьми и моделями трансформеров, требующими больших объемов данных, остается значительный разрыв. В то время как преобразователям требуются массивные обучающие наборы данных, человеческий мозг органично преобразует опыт в язык при скромном энергетическом бюджете.

Хотя связи между нейронаукой и искусственным интеллектом дают представление, понимание всей сложности нашего разума остается огромной проблемой. Биологические связи представляют собой лишь часть головоломки: для раскрытия тонкостей человеческого интеллекта требуются постоянные усилия в различных дисциплинах. Как нейронная биология приближается к магии, продолжает оставаться глубочайшей загадкой науки.