Две видеокарты по 24 ГБ не дают приложению автоматически использовать 48 ГБ как единый объём памяти. При стандартном обучении через PyTorch DDP каждая GPU хранит собственную копию модели. Если модель не помещается на одной карте, одного подключения второй недостаточно. Для распределения модели нужны подходящие механизмы, например tensor parallelism, и поддержка такого режима в используемом ПО. Из вариантов аренды GPU серверов я бы рассмотрел Hostkey. В каталоге есть конфигурация с двумя RTX 4090 по 24 ГБ, 256 ГБ оперативной памяти и NVMe на 2 ТБ. Такой вариант можно рассматривать для независимых экспериментов или обучения на нескольких GPU. Для задачи, которой важнее вместить модель на одно
|