Компании Parasail и d-Matrix анонсировали внедрение специализированных ускорителей d-Matrix Corsair для выполнения инференса совместно с ускорителями NVIDIA Hopper и Blackwell. Это решение реализовано в рамках гетерогенной дезагрегированной архитектуры, что обеспечивает десятикратное ускорение процессов инференса.
В рамках объединённой системы ускорители NVIDIA и Corsair функционируют скоординированно, распределяя вычислительные задачи в соответствии с их специализацией. Для повышения экономической эффективности инференса при определённых сценариях Parasail задействует GPU для интенсивного предварительного заполнения, а ускорители d-Matrix Corsair — для операций декодирования, критичных к задержкам. Аналогичный подход применяет и сама NVIDIA, интегрируя в свои GPU ускорители Groq.
Источник изображения: Parasail
Parasail управляет облачной платформой для инференса, объединяющей мощности ИИ-ускорителей в более чем 40 центрах обработки данных, расположенных в 15 странах. Разработанная компанией система автоматической оптимизации позволяет гибко распределять рабочие нагрузки между разнородным парком оборудования, учитывая требования конкретных моделей и процессов обработки. Parasail делает акцент на гетерогенном вычислительном подходе с использованием d-Matrix, стремясь извлечь максимальную выгоду из своей существующей ИИ-инфраструктуры на базе NVIDIA.
По заявлению d-Matrix, комбинация Corsair с GPU позволяет выполнять задачи инференса в десять раз быстрее, в три раза дешевле и в пять раз энергоэффективнее, как сообщает TNW. Издание отмечает, что вместо конкуренции с потенциальными соперниками NVIDIA предлагает им сотрудничество, интегрируя их в свою экосистему. Заказчикам больше не требуется один мощный GPU для всех операций. Они стремятся к выбору наиболее экономичного чипа для каждой конкретной задачи, объединяя их в единую систему. Стратегия NVIDIA заключается в обеспечении продаж или занятии места рядом с продуктом, который окажется успешным, пишет TNW.
Происхождение:
