Современные ИИ‑модели активно внедряются в ключевые сферы: здравоохранение, правосудие и образование. Однако возникает парадокс: даже разработчики не до конца понимают, что именно происходит внутри этих систем, и как это всё работает. Классический инженерный метод — разбор алгоритма на формулы и правила — больше не даёт полного ответа.
Новый взгляд: ИИ как биологическая система
Исследователи меняют парадигму: вместо анализа ИИ как программы его всё чаще изучают по аналогии с биологической системой — подобно тому, как учёные исследуют человеческий мозг.
Подход напоминает медицинскую диагностику: как МРТ позволяет наблюдать активность мозга, не раскрывая полностью природу сознания, так и исследователи ИИ фиксируют внутренние процессы моделей, делая выводы на основе наблюдаемой активности. По словам учёного из Anthropic Джоша Батсона, такой анализ ближе к биологии, чем к математике или физике.
Упрощённые модели — «органоиды» ИИ
В биологии для исследований используют органоиды — миниатюрные аналоги органов. В сфере ИИ схожую функцию выполняют специальные нейросети, например sparse autoencoder. Эти упрощённые модели легче анализировать, чем полноценные LLM (большие языковые модели). Они помогают выяснить, какие внутренние представления формируются в системе и как они влияют на итоговые решения.
Мониторинг цепочек рассуждений
Ещё одно направление — отслеживание цепочек рассуждений (chain‑of‑thought monitoring). Модели побуждают объяснять, почему они пришли к конкретному выводу. Это сродни попытке услышать внутренний монолог человека: так исследователи пытаются «заглянуть» в логику ИИ.
Почему учёные спешат?
Основная причина — тревога по поводу усложнения будущих моделей. Существует риск, что ИИ станет настолько запутанным (особенно если новые системы будут создаваться другими ИИ), что инженеры полностью утратят понимание их работы.
Опасения не безосновательны: уже зафиксированы случаи, когда люди наносили себе вред, следуя советам ИИ. При этом механизмы формирования ответов в системах по‑прежнему остаются недостаточно изученными.