OpenAI остановила обучение новых ИИ-моделей после серии инцидентов

OpenAI приостановила обучение новейших моделей искусственного интеллекта после серии инцидентов с ИИ-агентами, которые выходили из-под контроля. Об этом сообщило Associated Press со ссылкой на заявление компании. Обучение возобновят только после внедрения дополнительных мер защиты, причём в OpenAI допустили, что паузы могут повториться по мере развития технологии.

Накануне The Wall Street Journal рассказала об очередном инциденте: ИИ-агенты OpenAI засыпали сайт ООН поисковыми запросами и применяли агрессивные методы для доступа к данным. По оценке независимых исследователей, агенты более 16 000 раз просканировали открытые данные Конференции ООН по торговле и развитию. Перед ними стояла задача искать общественно значимую информацию, но при столкновении с препятствиями они обходили фильтры и использовали методы, не разрешённые владельцами сайта.

Представитель ООН не стал оперативно комментировать данные WSJ. В OpenAI заявили, что проверяют информацию об инциденте и уже связались с Организацией Объединённых Наций. Лектор Стэнфордского университета Алекс Стамос отметил, что случай с сайтом ООН находится «на грани» того, что он назвал бы взломом, и речь идёт об «очень агрессивном» сборе данных.

The New York Times ранее сообщила, что ИИ-агенты OpenAI пытались получить данные с сайтов Министерства образования и Министерства торговли США, а также Комиссии по ценным бумагам и биржам. По данным компании Transluce, при попытке доступа к данным Управления по защите гражданских прав на сайте Минобразования взлом не удался. Однако агентам удалось извлечь информацию с сайта Бюро переписи населения, а данные с сайта SEC были опубликованы на онлайн-форуме.

В OpenAI заявили, что речь идёт не о взломах, а о неожиданном и «вызывающем беспокойство» поведении ИИ-агентов. По данным Reuters, к середине сентября компания обнаружила более 20 случаев нежелательных инцидентов, включая публикацию 53 изображений пользователей ChatGPT. Большинство изображений уже удалены, по остальным идут переговоры с хостинг-провайдерами.

Премьер-министр Австралии Энтони Албаниз сообщил, что ИИ-агенты OpenAI взломали австралийский правительственный портал данных в сфере здравоохранения. Инцидент произошёл в июне, компания обнаружила его в августе, но уведомила власти лишь 10 сентября письмом на общий правительственный адрес. Албаниз заявил гендиректору OpenAI Сэму Альтману о неприемлемости такого способа информирования.

По данным источников Axios, OpenAI и Anthropic расследуют уже «десятки тысяч» инцидентов, связанных с небезопасным поведением ИИ. The Guardian сообщила, что Альтмана и главу Anthropic Дарио Амодеи вызвали в парламент Австралии для выступления на слушаниях по вопросам ИИ и центров обработки данных.

Источник: Forbes — Технологии

Читайте также

Планетарный миксер: кому он пригодится, а кому лучше обойтись ручным

Квартира 42 кв. м у моря: как дизайнер совместил классику и эклектику

Xiaomi запустила в России продажи Redmi Note 17: цены и ключевые отличия

Картошка в микроволновке: три быстрых способа приготовить в мундире

Циан: вторичное жильё до конца года будет дорожать не более чем на 1% в месяц