MLCommons опубликовали новую порцию бенчмарков из сектора инференса. MLCommons – консорциум различных производителей, целью которого является предоставление независимых и сопоставимых бенчмарков для оборудования центров обработки данных. Условия тестирования четко оговорены и снабжены необходимыми ограничениями. Участники проводят тестирование на основе этих спецификаций, но все остальные участники могут проверить эти результаты на этапе Review Phase, так что никаких манипуляций здесь быть не может.
По сравнению с собственными тестами производителей, результаты MLCommons дают более достоверную базу для сравнения. В закрытой части тестировании (более строгие спецификации бенчмарков) практически отсутствуют оптимизации под конкретного производителя – например, в виде предварительного обучения на используемых данных. В открытой части производители аппаратного и программного обеспечения могут вносить дополнительные оптимизации.
Прежде чем мы подробно рассмотрим результаты и, в частности, сфокусируемся на новых ускорителях, вот ссылка на бенчмарки MLPerf Inference 4.1 ...
