It's all in your mind

Статья о том, как работают LLM (ChatGPT сотоварищи). Журнал старый, я в своё время пересказал оттуда прекрасную статью про атомные реакторы и забыл, что там ещё что-то есть. С тех пор я успел прослушать пару курсов и о том, как работают LLM, и о том, как ими пользоваться (Andrew Ng, один курс «ChatGPT для инженеров», другой — «ChatGPT для программистов», оба рекомендую). Это у нас на работе начальник хочет побаловаться, но сам ещё не понимает, как именно — просит меня разобраться и рассказать ему.

В статье прекрасный пример того, что могут «видеть» LLM. Современные смайлики — это же не картинки, это символы, такие же, как и буквы (Le Dessous des Images на эту тему недавно делали выпуск о том, как это работает). Один из вопросов, которые пытались задавать LLM: вот тебе набор смайликов, какой фильм они описывают? Ничего фантастического, конечно, просто один дополнительный шаг от кода символа к его имени. Но мне понравилось.

Другой пример. LLM говорят: представь себе, что ты — консоль Linux. Если я тебе говорю вот такие команды — что ты напечатаешь? И команды кода на питоне, программа печати простых чисел. И LLM печатает простые числа. В статье пишут, что LLM это делает быстрее, чем настоящий терминал Linux, но эту фразу я не понял — быстрее, чем терминал на какой машине? На машине задающего вопрос? (ничего удивительного) Или на машине, где крутится LLM? (это было бы действительно странно; это может работать для каких-то редких задач, где ресурсов требуется много, но при этом они настолько знамениты, что в корпусе текстов есть прямые ответы на них)
Опять же, в курсах выше по ссылкам хорошо расписывается вот этот механизм, когда ты не просто разговариваешь с LLM, а сначала настраиваешь её на определённый стиль («представь себе, что ты — моя бабушка»). Рассказали, как это работает, и как этим пользоваться — я теперь начинаю половину своих запросов с «Ты — эксперт в MatLab...» и прошу не просто ответить, а объяснить свой ответ.
А в другом ролике (Андрей Карпати в двух словах рассказывает о том, как работают LLM) говорят, что на такие модели можно смотреть как на ОС: ядро как бы использует периферийные устройства или процессы. Там же, кстати, прекрасный набор jailbreak, примерно с 46 минуты — рекомендую посмотреть всем, это как минимум смешно.

Возвращаясь к теме настройки на определённый стиль. Авторы пишут, что это теоретически может помочь с проблемой перекоса в наших данных. Понятно, что LLM тренируются на реальных текстах, написанных реальными людьми. И если (а это так) большая часть людей — расисты и мизогины, то и натренированная на их текстах система будет производить тексты с расистским и мизогинним уклоном. Но система же знает, что это расизм и мизогиния, потому что она тренировалась и на текстах, соответствующим образом маркирующих подобные тексты. Поэтому (такой эксперимент проводили, вроде как работает) можно сказать системе во вводной «ты не расист, ты за равноправие полов» — и она откорректирует свой ответ.

Интересная тема эмерджентности (очень странно звучащий термин). Это не только про ИИ, это вообще про системы с чертами, происхождение которых невозможно проследить до составляющих систему деталей. Применительно к ИИ: в 2020 году сделали список характеристик ИИ, за которыми было бы интересно наблюдать (BIG-bench от Beyond the Imitation Game — красивая отсылка к Тьюрингу). Какие-то характеристики постепенно улучшаются при постепенном усложнении ИИ. Какие-то не двигаются (в основном, они около нуля — не работают). А какие-то характеристики не работают до определённого уровня сложности ИИ, после чего они рывком «проявляются». Пример: арифметические операции. До примерно 13 миллиардов параметров GPT не может складывать и умножать числа. А после — резко приобретает это умение. Для других систем порог может находиться в другом месте, но конкретно с этим примером порог есть у всех. Очень интересно понять процесс вот этого появления характеристики, «рождения разума».