Исследователи из ИИ-стартапа Hugging Face и института Карнеги-Мэллон посчитали, сколько энергии уходит на разные действия этих наших ChatGPT, Midjourney и прочих нейросеток.

Ход исследования был следующий:

• Выявили 10 самых популярных операций на платформе Hugging Face: генерация текста, выдача текстовой информации из поиска, суммаризация, генерация изображений, классификация изображений, поиск и распознавание образов на картинках и еще несколько.

• Взяли 88 различных LLM и на них протестировали эти 10 типов операций. Для каждой вводили 1000 разных промптов.

• Измерили энергозатраты каждой операции с помощью Code Carbon. Это внутренняя вундервафля Hugging Face, анализирующая, сколько энергии тратит компьютер, пока модель работает. Далее затраты энергии конвертировались в выбросы CO2.

Вот самые значимые и интересные выводы на мой взгляд:

1. Генерация 1000 изображений на мощной ИИ-модели вроде Stable Diffusion XL - это столько же выбросов, как если проехать 6,6 км на авто с бензиновом двигателем (ну, на каком-то условном среднем авто). А одна картинка примерно соответствует энергии, чтобы зарядить смартфон. Довольно много, то есть.

2. Работа с текстом, что логично, требуют гораздо (ГОРАЗДО! в 6-7к раз) меньше энергии. Для сравнения, обработка 1000 текстовых запросов - это около 16% зарядки среднестатистического смартфона в вакууме.

3. Один текстовый запрос к нейросетке тратит существенно меньше энергии, чем обычный поисковой запрос Гугла. Однако если их соединить (что Гугл и делает, вкрапляя ИИ в поисковый движок), то прожорливость серьезно возрастает.

4. Еще интересно вот что. Ранее видел мнения, что ИИ тратит дофига энергии на этапе обучения. Но на самом деле не особо, если сравнивать с использованием. Например, ребята посчитали, что мультиязыковой модели BLOOM от Hugging Face потребуется обработать всего 590 млн запросов, чтобы потратить столько же энергии, сколько она скушала при обучении. 590 миллионов - это просто пшик для крупной модели.

Генеративный ИИ продолжает проникать в каждую индустрию, а бизнес все активнее подключается к LLM. В том числе через АПИшки, которые становятся все более доступными и открытыми. Следовательно, нейросетки могут оказаться гораздо более прожорливыми, чем кажется на первый взгляд. И хоть я спектически отношусь к истериям на счет CO2, проблема здесь вполне может возникнуть.

Похоже, ИИ не только убьет человеков, но и климат попортит по дороге. Придумали, блин.... Ладно, если серьезно, то простор для оптимизации есть. Например, выходом может стать смещение фокуса на узкоспециализированные LLM - с фокусом на одной задаче, моноязыковые, моноотраслевые и т.д. У них энергопотребление гораздо скромнее. Другой вопрос - получится ли сместить этот фокус? Предположу, что да - по мере расширения доли компаний в общем объёме операций (ведь ИИ узкого профиля больше подходят бизнесу, чем нам, обычным юзерам).

https://www.technologyreview.com/2023/12/01/1084189/making-an-image-with-generative-ai-uses-as-much-energy-as-charging-your-phone/