 #нейросети #размышления
Taalas (бывшая команда из Tenstorrent) выкатили то, чего я так ждал — настоящий Direct-to-Silicon. https://chatjimmy.ai/Ребята не стали мелочиться и буквально «запекли» модель в кремний. Никакой внешней памяти, никакого HBM, никакой сложной упаковки. Веса модели и архитектура — это и есть сам чип. Цифры выглядят дико: 17,000 токенов в секунду на Llama 3.1 8B. Это на порядок быстрее текущей SOTA GPU, при этом чип стоит в 20 раз дешевле в производстве и потребляет в 10 раз меньше энергии. Самое крутое, что это не просто красивые слайды для инвесторов. Железо уже существует, и его можно «потрогать» Модель тупенькая, но скорость потрясающая. Почти мгновенная. И вот я задумался: именно вот такое исполнение будет достаточно дешевым в плане энергозатрат, чтобы соединять нейроимплант в башке человека с нейросетью. Сейчас ЛЛМки обрабатывают текст, насколько сложно дополнить их ллмкой обрабатывающей внутренний диалог через прямое чтение мозга? А если имплант может "читать" внутренний диалог, то кто мешает его "записать"? Так-то, это уже практически готовые нейросети из игры Eve online. Только нейросети не "заливаются" уколом, а операция + сьемный чип снаружи. Все базы знаний в чипе. Хочешь обновить базу, или установить другую - покупай новый чип. Работает очень просто: достаточно человеку подумать, ллмка прочтёт мысль, увидит в базе ответ, и впишет его в внутренний диалог. Внутри это должно выглядеть, как появляющаяся в голове мысль, продолжающая вопрос. В целом, если бы я не знал о том, для чего захотят использовать эту технологию власти, я был бы полностью за. Имхо, сторонники теории заговора много паникуют о том, что их мысли будут читать. Хотя по-настоящему надо бояться того, что мысли им будут записывать. 21 февраля в 21:00
1 |
 |
|
|
Я когда-то писала такой киберпанк. Но он был йашный...
|
|
 |
|
|
>3b parameters
Передовые модели около 10T, в 3000 раз больше |
|
 |
|
|
Вот только полноценные для практического применения модели llm по мнению многих теоретиков как раз должны преодолеть разделение на обучение и использование, без рефлексии дообучения в ходе эксплуатации, причём с самоконтролем ошибок реальной полезности достичь...
|
|
 |
|
|
Основная "страшилка" для сторонников теории заговора, на мой взгляд, состоит не только и не столько в трансляции нужных мыслей, сколько в контроле работы желёз внутренней секреции, что обеспечит контроль над самим организмом. Так сказать, человек с чипом превратится в биоробота.
|
|
|
|
|
Marlagram
> Но Taalas продумали этот момент — они оставили поддержку LoRA-адаптеров и изменяемого контекстного окна. То есть это не совсем уж «кирпич», гибкость для файн-тюнинга остается. |
|
 |
|
|
Имеет смысл как средство для фиксированной задачи. Распознавать, танк это или не танк в беспилотнике. Переводить с языка на язык. Генерировать картинки.
Главное, чтобы для задачи не требовалось дообучение. |
|
|
|
|
ae_der
См. выше - некоторое дообучение оно поддерживает. Теоретически можно запечь любую модель, в том числе универсальную. Просто специализированная имеет больше смысла, потому что задачи для них меняются не очень быстро. |
|
|
|
|
Asteroid
Не бывает универсальных моделей. Точнее, любая модель без постоянного переобучения - чрезвычайно ограничена, как человек, страдающий от ежедневной потери памяти. |
|
Включить тёмную тему
Популярное
VKontakte
WhatsApp
Telegram
Отключить рекламу
