Буквально сейчас узнал забавный факт – Nvidia, чтобы втюхивать свои pro-версии видеокарт потребителям программно ограничивает возможности тензорных ядер при выполнении операций с форматами FP16, BF16 и TF32. Дело в том, что в топовых игровых видеокартах стоят абсолютно такие же чипы, как и дорогих профессиональных ускорителях 🙂

То есть ваша RTX 3090 работает с нейросетями примерно в 2 раза хуже чисто из-за "пары строк" кода.

Но нашлась тут управа – Нвидию ВЗЛОМАЛИ. Вот репозиторий, смотрите сами. Накатывать или нет – решение за вами.