Новости Компания Eleven Labs заблокировала пользователей своей нейросети за оскорбления голливудских звёзд

[Пригоршня]

​

Британская фирма Eleven Labs, занимающаяся искусственным интеллектом, ужесточила условия использования своей нейросети Prime Voice AI после того, как она использовалась для произношения расистских и гомофобных высказываний голосами знаменитостей.

Eleven Labs написала в Twitter, что обнаружила «растущее число случаев неправильного использования клонирования голоса» всего через несколько дней после выпуска демоверсии нейросети.

Фирма не сообщила подробностей о случаях злоупотребления, но форум 4chan наполнился голосами Квентина Тарантино, Джорджа Лукаса, Джо Рогана, Эммы Уотсон и других, которые скандировали оскорбительные высказывания. Во многих сообщениях упоминалась Eleven Labs, причем некоторые пользователи утверждали, что фирма заблокировала их, а другие предоставляли ссылки на демоверсию инструмента.

В одном примере сгенерированный голос Эммы Уотсон читает отрывок из «Майн кампф» (книга Адольфа Гитлера с антисемитистскими выражениями). В другом голос писателя Бена Шапиро делает расистские замечания в адрес американского политика Александрии Окасио-Кортес. В третьем примере кто-то говорит, что «права трансгендеров — это права человека», после чего он был задушен.

ElevenLabs объявила в Twitter о скором внедрении дополнительных мер безопасности. Они будут включать:

• требование платежной информации или идентификации личности для активации инструмента;
• ручную проверку каждого запроса на клонирование голоса;
• внедрение инструмента для обнаружения звука, сгенерированного искусственным интеллектом;
• блокировку учетных записей, о которых сообщается, что они создают «вредный контент».

По информации с сайта ElevenLabsЮ компания была основана Петром Дабковски, бывшим инженером по машинному обучению Google, и Мати Станишевски, бывшим стратегом по развертыванию ПО для анализа данных Palantir. ElevenLabs позиционирует свой инструмент как средство для быстрого создания звуковых дубляжей для фильмов, телевидения и YouTube. Фирма утверждает, что сгенерированный голос требует небольшого редактирования, что позволяет использовать нейросеть также для мгновенного перевода иностранных языков и быстрое создание аудиокниг.