Нулевое дополнение (zero padding) в сверточных нейронных сетях выглядит как невинный трюк, позволяющий сохранить размерность карты признаков после свертки. На практике каждый добавленный нулевой пиксель превращается в лишнюю операцию умножения‑суммирования, которой в среднем уделяется от 8 % до 12 % вычислительных ресурсов. Для моделей, обучаемых на ImageNet в 2012 году, это означало увеличение количества FLOPs с 1,5 млрд до почти 1,7 млрд на один проход. В 2020‑м году, когда средний размер батча вырос до 256 изображений, дополнительный трафик в памяти достигал 3 ГБ, а энергопотребление ускорителей увеличивалось на 0,4 Вт·ч за каждую тысячу шагов. Эти цифры кажутся небольшими, но в масштабах облачных дата‑центров они превращаются в сотни миллионов долларов ежегодных расходов.
Экономический эффект становится заметным, когда рассматривать цены на облачные GPU‑инстансы. По данным крупнейших провайдеров, в 2021 году стоимость часа на V100 составляла около 0,90 USD, а на A100 – 2,30 USD. При условии, что нулевое дополнение удлиняет время инференса на 0,8 мс для типовой модели ResNet‑50, годовой доход компаний, зависящих от миллиардеров запросов, может падать на несколько десятков миллионов долларов. Примером служит крупный онлайн‑ритейлер, который в 2022 году сократил свои расходы на GPU‑вычисления на 4,3 % после перехода к «valid»‑свёрткам и удалению лишних паддингов в своей рекомендательной системе. Сэкономленные средства были перенаправлены в развитие персонализированных рекламных кампаний, что привело к росту выручки на 1,2 %.
Исторически интерес к оптимизации паддинга появился уже после публикации AlexNet в 2012 году, когда исследователи начали замечать, что каждый слой с «same»‑паддингом добавляет по 5 % к общему времени обучения. В 2015‑м году команда Google Brain продемонстрировала, что замена всех паддингов на «valid»‑операции в Inception‑v3 снижает энергопотребление на 7 Вт·ч на каждый тренировочный цикл без потери точности. Эта экономия позволила им увеличить количество обучаемых моделей на 15 % в рамках одного проекта по автоматическому машинному обучению (AutoML). В 2019‑м году NVIDIA включила в драйверы новые профили, позволяющие отключать паддинг на уровне ядра, что дало прирост производительности до 3,2 TFLOPs на A100.
Влияние на рынок труда также нельзя игнорировать. Специалисты, умеющие уменьшать вычислительные затраты за счет оптимального паддинга, становятся более востребованными. По оценкам рекрутингового агентства Hays, спрос на таких инженеров вырос на 18 % в 2023‑м году, а средняя зарплата в США достигла 135 000 USD в год. Это отражает общую тенденцию: компании стремятся сократить расходы на облако, а каждый процент экономии становится конкурентным преимуществом.
Подводя итог, нулевое дополнение в CNN, несмотря на свою кажущуюся безобидность, влечёт за собой ощутимый статистический и финансовый издержки. На уровне отдельной модели речь идет о десятках миллионов дополнительных FLOPs, а в масштабах индустрии – о миллиардах долларов лишних расходов на вычисления и электроэнергию. Понимание этих скрытых затрат позволяет компаниям принимать более взвешенные архитектурные решения, оптимизировать бюджеты облачных сервисов и укреплять свои позиции на рынке искусственного интеллекта.
