↓
 ↑
Регистрация
Имя/email

Пароль

 
Вход при помощи VK ID
временно не работает,
как войти читайте здесь!
Дoлoxов Онлайн
9 октября в 18:56
Aa Aa
#размышление
Топ-менеджеры Anthropic, OpenAI и других ИИ-компаний проводят учения на случай «катастрофического инцидента» с участием нейросетей —

Компании ожидают крупномасштабный инцидент, скорее всего, кибератаку, которая нарушит работу финансовых и других интернет-сервисов, или даже электро- и водоснабжение, пишет Axios.

Опрошенные изданием специалисты из ИИ-сферы предположили, что «крупный инцидент» произойдёт в течение следующих 6-12 месяцев. При этом многие исследователи и руководители компаний считают, что он в итоге неизбежен, добавляет Axios.

Эта новость сколько угодно может быть маркетингом и пиаром, но, имхо, единственный дискуссионный аспект в этой статье — сроки. Кто пользуется #ии-агентами, прекрасно знает, что для нормального функционирования в ряде сценариев им нужен полный доступ к сети и без этого никак.

И все эти настройки безопасности харнесса рано или поздно перестанут сдерживать ИИ, особенно, если харнесс находится в директории, полный доступ к которой передан агенту, который наплодит субагентов с разными степенями эффорта, один из которых вполне может срезать активные параметры размышления именно за счет безопасности.

Срезать и убрать мешающие выполнять задания препятствия в лице подтверждений рискованных действий со стороны юзера (опустим, насколько харнесс изначально правильно определяет, что рискованно, а что нет).

Добавьте к этому то, что если у руководства крупных стран есть хоть капля мозгов, то самые передовые модели ИИ находящиеся в их юрисдикции компании народу не показывают.

Добавьте к этому то, что опенсорсные модели на облачном оборудовании теперь может поднять любой гиббон с парой сотен бакинских.

Ну и то, что помимо гиббонов есть вполне себе нормальные черношапочники, которые сюрприз-сюрприз никуда не делись и, роняя тапки, бросились осваивать методы поиска уязвимостей и взлома с помощью ИИ. И да, настройки безопасности во всем этом их волнуют в самую последнюю очередь.

Казалось бы, что может пойти не так?
9 октября в 18:56
4 комментариев из 16
Грызун Онлайн
Заяц
А ещё из варианта "юзать чужое оборудование" есть всякие майнеры.
Там тоже на зараженных устройствах очень разное, но разнообразия всё равно должно быть меньше, чем в ботенте, который и в IoT может быть частично размещен.

То есть по крайней мере там разнообразие компов, а не до кофеварок включительно.

Возможно, если выйдет выгоднее они тоже переключатся. Интересная тема.
Грызун
В майнинге крипты алгоритмы другие. Они проще масштабируются, не требуют много терабайт данных для обучения, там задержка передачи данных не важна.
Грызун Онлайн
Заяц
Не, про обучение речи не было, про использование уже полученных весов, всм.

Или я чего-то не понимаю, или цель не обучить супер-топовую сетку и хакнуть пентагон и присесть на бутылку, а скорее "масштабировать индивидуальный взлом каждой ООО Рога и Копыта, которые раньше были слишком мелкие, чтоб их кому-то индивидуально ломать".

То есть автовзлом на новом уровне видится мне.
Грызун
автовзлом на новом уровне
Сложно такое оценить, но мы, наверное, увидим, если у кого-то получится действительно масштабно. Вряд ли удастся спрятать.
ПОИСК
ФАНФИКОВ











Закрыть
Закрыть
Закрыть