Исследователи из ИИ-стартапа Hugging Face и института Карнеги-Мэллон посчитали, сколько энергии уходит на разные действия этих наших ChatGPT, Midjourney и прочих нейросеток.

Ход исследования был следующий:

• Выявили 10 самых популярных операций на платформе Hugging Face: генерация текста, выдача текстовой информации из поиска, суммаризация, генерация изображений, классификация изображений, поиск и распознавание образов на картинках и еще несколько.

• Взяли 88 различных LLM и на них протестировали эти 10 типов операций. Для каждой вводили 1000 разных промптов.

• Измерили энергозатраты каждой операции с помощью Code Carbon. Это внутренняя вундервафля Hugging Face, анализирующая, сколько энергии тратит компьютер, пока модель работает. Далее затраты энергии конвертировались в выбросы CO2.

Вот самые значимые и интересные выводы на мой взгляд:

1. Генерация 1000 изображений на мощной ИИ-модели вроде Stable Diffusion XL - это столько же выбросов, как если проехать 6,6 км на авто с бензиновом двигателем (ну, на каком-то условном среднем авто). А одна картинка примерно соответствует энергии, чтобы зарядить смартфон. Довольно много, то есть.

2. Работа с текстом, что логично, требуют гораздо (ГОРАЗДО! в 6-7к раз) меньше энергии. Для сравнения, обработка 1000 текстовых запросов - это около 16% зарядки среднестатистического смартфона в вакууме.

3. Один средний текстовый запрос к нейросетке в два раза более энергоемкий, чем стандартный запрос в поисковике по данным Google. А если их соединить (что Гугл и делает, вкрапляя ИИ в поисковый движок), то прожорливость возрастает еще сильнее.

4. Еще интересно вот что. Ранее видел мнения, что ИИ тратит дофига энергии на этапе обучения. Но на самом деле не особо, если сравнивать с использованием. Например, ребята посчитали, что мультиязыковой модели BLOOM от Hugging Face потребуется обработать всего 590 млн запросов, чтобы потратить столько же энергии, сколько она скушала при обучении. 590 миллионов - это просто пшик для крупной модели.

Генеративный ИИ продолжает проникать в каждую индустрию, а бизнес все активнее подключается к LLM. В том числе через АПИшки, которые становятся все более доступными и открытыми. Следовательно, нейросетки могут оказаться гораздо более прожорливыми, чем кажется на первый взгляд. И хоть я спектически отношусь к истериям на счет CO2, проблема здесь вполне может возникнуть.

Похоже, ИИ не только убьет человеков, но и климат попортит по дороге. Придумали, блин.... Ладно, если серьезно, то простор для оптимизации есть. Например, выходом может стать смещение фокуса на узкоспециализированные LLM - с фокусом на одной задаче, моноязыковые, моноотраслевые и т.д. У них энергопотребление гораздо скромнее. Другой вопрос - получится ли сместить этот фокус? Предположу, что да - по мере расширения доли компаний в общем объёме операций (ведь ИИ узкого профиля больше подходят бизнесу, чем нам, обычным юзерам).

https://www.technologyreview.com/2023/12/01/1084189/making-an-image-with-generative-ai-uses-as-much-energy-as-charging-your-phone/