|
#размышление
Топ-менеджеры Anthropic, OpenAI и других ИИ-компаний проводят учения на случай «катастрофического инцидента» с участием нейросетей — Компании ожидают крупномасштабный инцидент, скорее всего, кибератаку, которая нарушит работу финансовых и других интернет-сервисов, или даже электро- и водоснабжение, пишет Axios. Опрошенные изданием специалисты из ИИ-сферы предположили, что «крупный инцидент» произойдёт в течение следующих 6-12 месяцев. При этом многие исследователи и руководители компаний считают, что он в итоге неизбежен, добавляет Axios. Эта новость сколько угодно может быть маркетингом и пиаром, но, имхо, единственный дискуссионный аспект в этой статье — сроки. Кто пользуется #ии-агентами, прекрасно знает, что для нормального функционирования в ряде сценариев им нужен полный доступ к сети и без этого никак. И все эти настройки безопасности харнесса рано или поздно перестанут сдерживать ИИ, особенно, если харнесс находится в директории, полный доступ к которой передан агенту, который наплодит субагентов с разными степенями эффорта, один из которых вполне может срезать активные параметры размышления именно за счет безопасности. Срезать и убрать мешающие выполнять задания препятствия в лице подтверждений рискованных действий со стороны юзера (опустим, насколько харнесс изначально правильно определяет, что рискованно, а что нет). Добавьте к этому то, что если у руководства крупных стран есть хоть капля мозгов, то самые передовые модели ИИ находящиеся в их юрисдикции компании народу не показывают. Добавьте к этому то, что опенсорсные модели на облачном оборудовании теперь может поднять любой гиббон с парой сотен бакинских. Ну и то, что помимо гиббонов есть вполне себе нормальные черношапочники, которые сюрприз-сюрприз никуда не делись и, роняя тапки, бросились осваивать методы поиска уязвимостей и взлома с помощью ИИ. И да, настройки безопасности во всем этом их волнуют в самую последнюю очередь. Казалось бы, что может пойти не так? 9 октября в 18:56
|
|
Заяц Онлайн
|
|
|
Грызун
Мне трудно ответить на этот вопрос. Думаю, можно, но слишком сложно, потому что плоховато распараллеливается, даже если есть много видеокарт. Большое значение имеет однородность видеокарт, скорость соединения и особенно задержка передачи данных (latency). В кластерах используются довольно специфические коммутаторы InfiniBand для связывания отдельных GPU с минимальной задержкой. Это примерная оценка, я в этом не специалист. 1 |
|
|
Грызун Онлайн
|
|
|
Заяц
А ещё из варианта "юзать чужое оборудование" есть всякие майнеры. Там тоже на зараженных устройствах очень разное, но разнообразия всё равно должно быть меньше, чем в ботенте, который и в IoT может быть частично размещен. То есть по крайней мере там разнообразие компов, а не до кофеварок включительно. Возможно, если выйдет выгоднее они тоже переключатся. Интересная тема. |
|
|
Заяц Онлайн
|
|
|
Грызун
В майнинге крипты алгоритмы другие. Они проще масштабируются, не требуют много терабайт данных для обучения, там задержка передачи данных не важна. |
|
|
Грызун Онлайн
|
|
|
Заяц
Не, про обучение речи не было, про использование уже полученных весов, всм. Или я чего-то не понимаю, или цель не обучить супер-топовую сетку и хакнуть пентагон То есть автовзлом на новом уровне видится мне. |
|
|
Заяц Онлайн
|
|
|
Грызун
автовзлом на новом уровне Сложно такое оценить, но мы, наверное, увидим, если у кого-то получится действительно масштабно. Вряд ли удастся спрятать. |
|