Математики в Австралии выявили предел скорости и предсказуемости обучения ИИ
Австралийские ученые установили, почему крошечные изменения настроек ИИ дают непредсказуемый итог обучения. Найденный принцип не позволяет сделать его одновременно быстрым и предсказуемым. Об этом сообщила пресс-служба Сиднейского университета.
Математики получили формулы, которые описывают разброс результатов через свойства фракталов — самоповторяющихся математических структур. Согласно этим формулам, предсказуемость нейросети и скорость ее обучения нельзя менять независимо друг от друга. Исследователи считают эту связь фундаментальным ограничением для разработки ИИ.
Для проверки ученые сопоставили обучение и работу 500 тысяч нейросетей. У моделей было сравнительно простое устройство, а предназначались они для распознавания текстов и изображений. Даже когда все внешние факторы оставались одинаковыми, результаты могли различаться радикально.
Серьезные перемены вызывала поправка величиной всего в один бит в одной из переменных. Ее вносили во внутренние параметры при запуске нейросети. Такое вмешательство влияло на дальнейшее обучение столь же сильно, как изменения извне.
Профессор Сиднейского университета Гун Пулинь пояснил, что раньше расхождения приписывали внешним случайностям. Среди возможных объяснений были очередность подачи учебных данных и особенности вычислительных систем, из-за которых расчеты дают разные результаты. Однако исследование указало на более глубокую причину — математическую природу самих нейросетей, а не недостатки техники или наборов данных.
Как подчеркнули математики, проблема затрагивает и обучение с нуля, и переобучение. Из-за непредсказуемых последствий не удается воспроизводить модели, которые ранее получили исследователи и разработчики. Кроме того, эта особенность существенно ограничивает доработку уже действующих нейросетей.
Источник: ТАСС