Ученые из Университета Карнеги-Меллон и OpenAI опубликовали доклад, в котором говорится, что большие языковые модели (LLM) могут стать важным активом для специалистов в области кибербезопасности, однако их следует оценивать с использованием реальных и сложных сценариев для лучшего понимания их возможностей и рисков.
Хотя перспективы использования LLM в кибербезопасности представляются всё более привлекательными, трудно оценить, насколько они способны к кибероперациям или насколько опасны, если их использовать защитниками. Для оценки способностей LLM в кибербезопасности необходимо фокусироваться не только на теоретических знаниях, но и на практическом и прикладном опыте.
Исследователи предлагают рамочный подход к проектированию реалистичных оценок LLM в кибербезопасности с четырьмя основными рекомендациями: определение реальной задачи, представление задач адекватно, создание устойчивой оценки и адекватная интерпретация результатов.
Ученые отметили, что использование LLM в кибербезопасности вероятнее всего будет связано с поддержкой человека, а не автономной работой.
