Динамический параллельный метод для оптимизации производительности на гибридных ЦП

Концепция AIPC набирает популярность, и все больше гибридных ЦПУ будут запускать модели ИИ на клиентских устройствах. Однако текущая структура вывода ИИ игнорирует несбалансированные аппаратные возможности гибридных ЦПУ, что приводит к низкой производительности вывода. Чтобы решить эту проблему, мы представили динамический параллельный метод для гибридных ЦПУ, который значительно увеличивает производительность вывода LLM, сбалансировав нагрузку для каждого ядра гибридного ЦПУ перед началом параллельной работы. Этот метод позволил Neural Speed достичь более 90% (в среднем) пропускной способности памяти на двух гибридных ЦПУ Intel.