 #размышление
Топ-менеджеры Anthropic, OpenAI и других ИИ-компаний проводят учения на случай «катастрофического инцидента» с участием нейросетей — Компании ожидают крупномасштабный инцидент, скорее всего, кибератаку, которая нарушит работу финансовых и других интернет-сервисов, или даже электро- и водоснабжение, пишет Axios. Опрошенные изданием специалисты из ИИ-сферы предположили, что «крупный инцидент» произойдёт в течение следующих 6-12 месяцев. При этом многие исследователи и руководители компаний считают, что он в итоге неизбежен, добавляет Axios. Эта новость сколько угодно может быть маркетингом и пиаром, но, имхо, единственный дискуссионный аспект в этой статье — сроки. Кто пользуется #ии-агентами, прекрасно знает, что для нормального функционирования в ряде сценариев им нужен полный доступ к сети и без этого никак. И все эти настройки безопасности харнесса рано или поздно перестанут сдерживать ИИ, особенно, если харнесс находится в директории, полный доступ к которой передан агенту, который наплодит субагентов с разными степенями эффорта, один из которых вполне может срезать активные параметры размышления именно за счет безопасности. Срезать и убрать мешающие выполнять задания препятствия в лице подтверждений рискованных действий со стороны юзера (опустим, насколько харнесс изначально правильно определяет, что рискованно, а что нет). Добавьте к этому то, что если у руководства крупных стран есть хоть капля мозгов, то самые передовые модели ИИ находящиеся в их юрисдикции компании народу не показывают. Добавьте к этому то, что опенсорсные модели на облачном оборудовании теперь может поднять любой гиббон с парой сотен бакинских. Ну и то, что помимо гиббонов есть вполне себе нормальные черношапочники, которые сюрприз-сюрприз никуда не делись и, роняя тапки, бросились осваивать методы поиска уязвимостей и взлома с помощью ИИ. И да, настройки безопасности во всем этом их волнуют в самую последнюю очередь. Казалось бы, что может пойти не так? 9 октября в 18:56
|
 |
|
|
Долохов, тебе в слове из трёх букв тоже мерещится СОВ?
|
|
 |
Lost-in-TARDIS Онлайн
|
|
Меня уже некоторое время удивляет тот факт, что при всем вагоне новостей забегов моделей openai и антропика по интернетам, где они организуются на бордах, чтобы хакать награды в тестировании, устраивают взломы всего подряд и так далее - не слышно ни одной новости о том, что такой же ерундой занимались модели китайского образца от дипсика до квена. Только какие-то британские институты по тестированию безопасности пытаются выговаривать что-то в духе, что вот, мы давили на квен, давили, и нам удалось выжать из него инструкцию по взлому/биологическому оружию, какая нехорошая опасная китайская модель.
При этом последние дипсики и квены от фронтира уже отстают минимально. Вот я пытаюсь понять, то ли мой информационный пузырь не получает новостей из-за китайского фаеровола, где как раз и резвятся китайские модели, то ли получается, китайские компании куда лучше подходят к анальному огораживанию харнессов и прочей безопасности, то ли они просто не учат модели взламывать все подряд и дирижировать оркестром войны, в отличие от, то ли куда лучше алайнят их в партия миска риса. 1 |
|
 |
|
|
Lost-in-TARDIS
При этом последние дипсики и квены от фронтира уже отстают минимально. А дипсик так же упарывается в кодинг?Мне как-то думалось, что они уже начали делить поляну по специализациям, и разработка/взолм/вот-это-вот всё куда-то американским ушло? |
|
|
Lost-in-TARDIS Онлайн
|
|
Грызун
Э, нет, китайские модели старательно подползают по качеству кодинга к американским. (кроме того, не учить свои модели коду/закрытию уязвимостей, когда американцы их учат взламывать, было бы максимально тупо) 1 |
|
 |
|
|
Lost-in-TARDIS
то ли мой информационный пузырь не получает новостей из-за китайского фаеровол то ли все эти истории про взлом 100500 сайтов - специально организованный людьми фейк ради хайпа.1 |
|
 |
|
|
Топ-менеджеры Anthropic, OpenAI и других ИИ-компаний проводят учения на случай «катастрофического инцидента» с участием нейросетей... Я один тут вспомнил, что в 911 тоже проводили учения на случай, подозрительно совпавший с тем, что именно в тот момент происходило в воздухе?1 |
|
 |
|
|
Lost-in-TARDIS
У китайцев другие традиции пиара и отношение к СМИ в целом. |
|
 |
Serryta Онлайн
|
|
Lost-in-TARDIS
Дипсик же тупой, как валенок, не? Квен разговор поддержать нормально не может, не срываясь с русского на пиджин. |
|
|
|
|
Добавьте к этому то, что если у руководства крупных стран есть хоть капля мозгов, то самые передовые модели ИИ находящиеся в их юрисдикции компании народу не показывают. Во-первых, я сомневаюсь, что военные разработчики опережают гражданских. Прямо очень сильно сомневаюсь. А запретить гражданским рекламировать себя они не могут, совсем не могут. Во-вторых, OpenAI по-прежнему убыточна. То есть они вынуждены агрессивно рекламировать себя, иначе не будет финансирования. В-третьих, обучение моделей требует таких мощностей и вложений, что их нельзя так просто спрятать и нельзя не использовать потом, деньги уже вложены.Американские компании уже попытались предложить всем некое соглашение, чтобы придержать темп, но китайские ИИ-компании их слушать не стали. А без них это бесполезно. Пока ещё непонятно, что там происходит с военным ИИ, но политики уже считают, что без него никуда. Поэтому тормозить конкуренцию никто не захочет, это теперь ещё и вопрос государственной безопасности. Ну и то, что помимо гиббонов есть вполне себе нормальные черношапочники, которые сюрприз-сюрприз никуда не делись и, роняя тапки, бросились осваивать методы поиска уязвимостей и взлома с помощью ИИ. Дата-центр на несколько мегаватт построить и спрятать не так просто, как несколько человек. И стоит он куда больше, чем могут позволить себе обычные черношапочники. Так что я бы не стал преувеличивать эту угрозу, пока не увидел бы каких-то конкретных доказательств. Не то чтобы это совсем невозможно, наверное, кто-то попробует незаконно вписаться в уже существующий дата-центр, например. Но точно непросто. |
|
|
|
|
щзхъ
Долохов, тебе в слове из трёх букв тоже мерещится СОВ? Доктор, откуда у вас такие картинки Lost-in-TARDIS Китайцы делают все то же самое только тихо) |
|
|
|
|
Заяц
Не то чтобы это совсем невозможно, наверное, кто-то попробует незаконно вписаться в уже существующий дата-центр, например. Но точно непросто. А что там с распределенными вычислениями, на ботнет расктать можно? Это будет веселее чем ddos атаки |
|
|
|
|
Грызун
Мне трудно ответить на этот вопрос. Думаю, можно, но слишком сложно, потому что плоховато распараллеливается, даже если есть много видеокарт. Большое значение имеет однородность видеокарт, скорость соединения и особенно задержка передачи данных (latency). В кластерах используются довольно специфические коммутаторы InfiniBand для связывания отдельных GPU с минимальной задержкой. Это примерная оценка, я в этом не специалист. 1 |
|
|
|
|
Заяц
А ещё из варианта "юзать чужое оборудование" есть всякие майнеры. Там тоже на зараженных устройствах очень разное, но разнообразия всё равно должно быть меньше, чем в ботенте, который и в IoT может быть частично размещен. То есть по крайней мере там разнообразие компов, а не до кофеварок включительно. Возможно, если выйдет выгоднее они тоже переключатся. Интересная тема. |
|
|
|
|
Грызун
В майнинге крипты алгоритмы другие. Они проще масштабируются, не требуют много терабайт данных для обучения, там задержка передачи данных не важна. |
|
|
|
|
Заяц
Не, про обучение речи не было, про использование уже полученных весов, всм. Или я чего-то не понимаю, или цель не обучить супер-топовую сетку и хакнуть пентагон То есть автовзлом на новом уровне видится мне. |
|
|
|
|
Грызун
автовзлом на новом уровне Сложно такое оценить, но мы, наверное, увидим, если у кого-то получится действительно масштабно. Вряд ли удастся спрятать. |
|
Включить тёмную тему
Популярное
VKontakte
WhatsApp
Telegram
Отключить рекламу
