Идентификация аппаратной и программной платформы для вывода модели

Теперь распространённой деловой практикой стало покупать доступ к выводу крупных языковых моделей (LLM) вместо самостоятельного хостинга из-за значительных начальных затрат на аппаратную инфраструктуру и энергопотребление. Однако, как покупатель, нет механизма для проверки подлинности рекламируемого сервиса, включая аппаратную платформу для обслуживания, например, что он действительно обслуживается с использованием NVIDIA H100. Кроме того, есть сообщения, предполагающие, что поставщики моделей могут предоставлять модели, немного отличающиеся от рекламируемых, часто для того, чтобы они могли работать на менее дорогом оборудовании. Таким образом, клиент платит премию за доступ к способной модели на более дорогом оборудовании, но в итоге обслуживается дешёвой (потенциально менее способной) моделью на более дешёвом оборудовании. В этой статье мы вводим понятие **вывод аппаратной и программной платформы (HSPI)** — метод для идентификации базовой архитектуры и программного стека (чёрного ящика) машинного обучения модели, основанный исключительно на её входно-выходном поведении. Наш метод использует врождённые различия различных архитектур и компиляторов для различения различных типов и программных стеков. Анализируя числовые паттерны в выводах модели, мы предлагаем классификационную рамку, способную точно идентифицировать используемую для вывода модели, а также базовую программную конфигурацию. Наши результаты демонстрируют возможность выведения типа из чёрных ящиков моделей. Мы оцениваем HSPI по моделям, обслуживаемым на различном реальном оборудовании, и находим, что в белом ящике мы можем различать между различными типами с точностью от 83.9% до 100%. Даже в чёрном ящике мы можем достигать результатов, которые в три раза выше точности случайного угадывания.