В заглавии этой статьи я использовал интересную иллюстрацию, созданную нейронкой. Я прикрепил два фото: себя и царя Давида, попросил изобразить нас, попивающих чай на фоне святой горы Афон. И тут ИИ впал в ступор: что оставить у царя в руке: скипетр, или чашку чая? В итоге решил не идти на компромисс – пусть будет и то, и другое. Во второй, и в третьей руке, соответственно. 😂
Галлюцинации нейросетей — это не сбой, а непосредственное следствие технологии, как выяснили исследователи OpenAI. Воно-как…🥶 Лично мне не очень по душе такое объяснение, когда я получаю по своему запросу человека с тремя руками, или десятью пальцами. Всё хорошо, но зачем так-то… При разработке сайтов для бизнеса я часто использую создание текстов и изображений на базе ИИ, и иногда без дополнительной работы в старом, добром фотошопе такое не получается применить!
Все закладывается еще на этапе предварительного обучения. Даже если в тренировочных данных нет ни одной ошибки, модель все равно будет выдумывать факты.
На сайте OpenAI есть целая научная статья о том, почему большие языковые модели иногда выдают неверные или странные ответы, которые называют «галлюцинациями«. Исследователи объясняют, что обучение моделей начинается с огромного количества текстов, где нет четких меток «правда» или «ложь» — только примеры того, как люди пишут.
ИИ может научиться правилам грамматики и пунктуации, но не может запомнить редкие факты. Например, если показать модели миллион фотографий собак и кошек с подписями «собака» и «кошка», она научится различать эти два вида животных. Но если показать миллион фото кошек с их датами рождения, модель не сможет запомнить даты, потому что закономерности здесь нет, и будет пытаться просто угадать. Здесь хочется плюнуть в экран и сказать: « —нет, сейчас ИИ точно не готов заменить человека» 🤮.
После обучения можно сократить количество глюков, но полностью избавиться от них практически невозможно. Это происходит потому, что сейчас при оценке моделей учитывается только точность — то есть, сколько ответов совпало с правильными. Такой подход может даже поощрять глюки, потому что у модели всегда есть шанс угадать правильный ответ. Если же ИИ скажет «я не знаю», то он не получит никаких баллов.
Таким образом нейросеть превращается в «студента на экзамене», который не знает ответа, и предпочитает нести вский бред с уверенным лицом, чтобы совсем не завалить.
Хотя новая модель GPT-5-Thinking-mini ошибается реже, но немного уступает старой версии o4-mini по точности. Это приводит к тому, что в тестах, которые оценивают только точность, она оказывается в последнем ряду.
OpenAI предлагает изменить правила оценки моделей так, чтобы за уверенные ошибки давали больше штрафов, а за неопределенность — частичные баллы. Они уже смогли значительно уменьшить количество галлюцинаций в GPT-5, но модель все еще требует доработки.
Проблемы с ИИ-шными косяками нередко встречаются и в сфере создания сайта визитки. Когда мы разрабатываем сайты для бизнеса в студии «Символ стиля», важно не просто сделать красивую веб-страницу. Тексты должны быть уникальными, релевантными и интересными. Изображения должны быть красивыми, чёткими и без авторских прав. Как и в случае с ИИ, если сайт будет выдавать неверные или запутанные данные, это может навредить бизнесу. Поэтому мы стараемся использовать проверенные методы и технологии, чтобы обеспечить качественный результат и минимизировать риски.
Ну что-ж, попробуем «штрафовать нейронки». 😁 Спасаемся тем, что тексты после ИИ старательно дорабатываем и обмозговываем, картинки нередко допиливаем в редакторах. Человек всё же пока лидирует.