...
К 2018 году другая модель, NASNet-A, наполовину сократила количество допускаемых ошибок по сравнению с AlexNet, но потребовавшийся для этого объем вычислительных ресурсов оказался более чем в 1000 раз значительнее.

Анализ этого феномена также позволил оценить, как эти результаты сочетаются с теоретическими ожиданиями. Теоретически вычисления должны масштабироваться как минимум в четвертой степени относительно фактического повышения производительности. На практике же для этого требовалось масштабирование как минимум в девятой степени.

Данная девятая степень означает, что для уменьшения показателя ошибок наполовину следует ожидать, что вам потребуется более чем в 500 раз нарастить вычислительные ресурсы. Это сокрушительно высокая цена. Правда, здесь есть и луч надежды: такая пропасть между теоретическими прогнозами и практическими результатами может означать, что до сих пор остаются неоткрытые варианты оптимизации алгоритмов, которые позволили бы радикально повысить эффективность глубокого обучения.

Как отмечалось выше, закон Мура и другие показатели совершенствования аппаратного обеспечения позволили невероятно повысить производительность чипов. Означает ли это, что постоянная эскалация требований к вычислительным мощностям непринципиальна? К сожалению, нет. Из 1000-кратной разницы в вычислениях между AlexNet и NASNet-A, лишь шестикратное увеличение было достигнуто на уровне улучшения оборудования. Вся остальная разница была достигнута наращиванием количества процессоров и все более длительным их использованием, а все это влечет дополнительные издержки.
...
OpenAI, важный аналитический центр, занимающийся изучением машинного обучения, недавно спроектировал и натренировал весьма прославленную языковую систему глубокого обучения GPT-3, потратив на это более 4 миллионов долларов. Хотя они и допустили ошибку при реализации системы, эту ошибку не исправляли, пояснив это в приложении к своей научной статье так: "в силу стоимости обучения, не представлялось возможным переобучить модель."
...