Как обучают искусственный интеллект?

Как из случайных ошибок нейросеть превращается в умелого собеседника, учась на тысячах примеров? Узнайте, как работает обучение искусственного интеллекта.

Как машина, которая сначала отвечает почти случайно, постепенно становится полезным собеседником, узнаёт лица на фото или подбирает музыку? В прошлый раз мы говорили, что нейросеть может уверенно ошибаться, потому что строит ответ по вероятностям. Теперь разберёмся, откуда берутся эти вероятности и как модель учат.

Обучение начинается не с вдохновения, а с данных. Для модели книги, картинки и звуки — это огромные наборы чисел. Фотография превращается в значения яркости и цвета, звук — в колебания и частоты, текст — в цепочки числовых фрагментов, токенов.

Дальше нужен учебный сигнал. Иногда он очевиден: вот снимок, а рядом подпись «кошка»; вот письмо, а рядом пометка «спам»; вот запись речи, а рядом правильный текст. Такое обучение называют обучением с учителем: есть ответ, с которым можно сравнить догадку.

Но большие языковые модели часто учатся иначе. Им показывают текст и просят предсказать следующее слово или пропущенный кусок. Человек не подписывает каждый пример вручную: правильный ответ уже лежит в самом тексте, будто продолжение фразы закрыли ладонью.

Сначала нейросеть почти ничего не умеет. Её внутренние коэффициенты, те самые многочисленные «ползунки», выставлены неудачно или почти случайно. Она делает предсказание, и оно далеко от правильного. В этот момент появляется главный учитель модели — ошибка.

Ошибка измеряется функцией потерь. Это не наказание, а число, которое показывает, насколько ответ разошёлся с нужным. Если надо узнать собаку, а модель уверенно сказала «автомобиль», потери большие. Если сказала «волк» или «щенок», промах меньше, хотя ответ всё равно неверный.

Теперь модель нужно чуть-чуть изменить, чтобы в следующий раз ошибка уменьшилась. Но коэффициентов могут быть миллионы или миллиарды, и непонятно, какой «ползунок» виноват. Здесь работает обратное распространение ошибки: сеть дала ответ, а потом вычисления идут назад и оценивают вклад каждого коэффициента в промах.

Представьте огромный звуковой пульт. Музыка звучит мутно, но нельзя крутить все ручки наугад. Нужно понять, где слишком громкий бас, где портится голос, где добавляется шум. Обратное распространение делает нечто похожее, только математически: подсказывает, в какую сторону сдвинуть каждую ручку.

После этого включается градиентный спуск. Представьте склон в тумане: вы хотите спуститься туда, где ошибка меньше, но не видите всей долины. Зато чувствуете наклон под ногами. Делая много маленьких шагов, модель постепенно находит место, где её ответы лучше.

Обучение идёт не на одном примере. Данные делят на небольшие порции: модель предсказывает, считает потери, корректирует коэффициенты и пробует снова. Один проход по набору ещё не делает её умной. Навык возникает из множества таких исправлений.

Но есть опасность: модель может не понять закономерность, а просто запомнить учебные примеры. Это как школьник, выучивший ответы к старым задачам, но теряющийся при новой формулировке. Поэтому данные разделяют: на одних учат, на других проверяют. Если на знакомом всё прекрасно, а на новом плохо, это переобучение.

Качество данных тоже решает многое. Если в наборе есть ошибки, перекосы или однотипные примеры, модель перенимает их. Если систему зрения учили только на солнечных дорогах, она может хуже понимать ночную трассу, снег или грязную разметку. Поэтому обучение — это ещё и подготовка материала.

После основного обучения модель часто дополнительно настраивают. Языковую систему учат отвечать полезнее, безопаснее и честнее признавать неопределённость. Для этого используют хорошие примеры, сравнение вариантов и обратную связь от людей. Так простая способность продолжать текст превращается в поведение собеседника.

Итог простой: искусственный интеллект учится не потому, что ему объяснили правила мира словами. Он видит множество примеров, ошибается, измеряет ошибку и понемногу меняет внутренние коэффициенты. Обратное распространение подсказывает, что менять, а градиентный спуск делает шаги. Так из повторяющихся промахов рождается навык — не безупречный, но удивительно сильный.