«Человек — не цифра»: почему бизнес ошибается, пытаясь «измерить» кандидата
Можно ли объективно оценить человека — или это иллюзия, в которую до сих пор верит бизнес? Компании требуют «точных цифр» о кандидатах, прогнозов на годы вперёд и универсальных рейтингов. Но реальность сложнее: за любой оценкой стоят ограничения, допущения и контекст.
Мы поговорили с Ириной Тужилкиной — специалистом по разработке инструментов оценки и методологом тестирования, которая ежегодно проводит более 200 000 оценок кандидатов и внедряет статистические модели, используемые в международных экзаменах. Она объясняет, где математика в HR действительно работает, почему «оценить человека в целом» невозможно и какие ошибки продолжают совершать даже крупные проекты.
«Объективная оценка возможна, но только в очень ограниченных рамках. Идея о том, что можно "объективно измерить человека в целом" — скорее миф. Человек воспринимается как единая величина, которую можно посчитать, но это уже ошибка. Человек — система: способности, опыт, мотивация, характер, контекст. Как только мы сводим всё это к одной цифре, мы теряем смысл».
Это заявление задаёт тон всему разговору. Ирина Тужилкина не работает с абстрактными «личностями». Её задача — проектировать измерительные инструменты, которые дают стабильный результат при строго определённой задаче. При этом она открыто обозначает границы применимости математики в оценке персонала.
— Ирина, вы работаете на стыке математики, статистики и человеческой неопределённости. Самый частый запрос от бизнеса, который вы слышите?
— Самый частый запрос от заказчиков звучит примерно так: «Этот человек мне подходит» или «Он хороший». Оба варианта эквивалентны с точки зрения методологии, потому что они не конкретны. И вот здесь начинается самое сложное. Я никогда не скажу «хороший человек» или «плохой». Это просто невозможно оценить.
Мне приходится каждый раз «сужать» заказчика. Уточнять: какие конкретно софты (soft skills — мягкие навыки) и харды (hard skills — жёсткие навыки) вам важны? Что именно этот человек должен делать на своём месте? И только после этого мы можем составить карту того, что будем оценивать. А «хороший вообще» — это не измерение, это ощущение.
— То есть узкие навыки против комплексных качеств?
— Граница объективности проходит по степени конкретности измеряемого объекта. Чем уже задача — тем ближе результат к объективности. Проверка знания конкретного правила русского языка или алгоритма логична, предсказуема и воспроизводима. Один и тот же человек покажет схожий уровень при повторной проверке. Здесь математика работает на пределе точности.
Проблема возникает на стыке сложных качеств: лидерство, креативность, потенциал, адаптивность. Не существует единого определения «лидера». Для кого-то лидерство — это результат, для кого-то — влияние на команду, для третьих — атмосфера и поддержка. Единого объекта измерения нет. Поэтому сложные качества деконструируются на несколько шкал. Каждая шкала проверяется отдельным блоком вопросов. Для надёжности требуется минимум 7 вопросов на шкалу, но оптимально — от 10. Это правило защищает от ситуативных ответов и снижает долю угадывания.
— А бывали случаи, когда вы говорили заказчику «нет»? Отказывались проводить тестирование?
— Да, и это напрямую связано с первым вопросом. Иногда приходят с запросами: «Оцените, насколько человек будет успешен через год» или «Какая у него будет мотивация в дальнейшем». Это невозможно. Тест — это инструмент, который делает захват «здесь и сейчас». Мы не можем предсказать, что произойдёт через год. А мотивация у человека меняется ещё чаще. Сегодня он хочет деньги, завтра — хороший коллектив.
В таких случаях я объясняю заказчику принципы работы тестирования. Это не всегда легко, но честность в этом вопросе дороже.
— Руководители привыкли к KPI и цифрам. Как вы объясняете им, что «человека в целом» измерить нельзя? Есть ли у вас волшебная метафора?
— Знаете, в последнее время многие компании как раз уходят от жёстких KPI. Но метафора у меня есть. Я привожу пример с машиной.
У машины есть технические характеристики. Тоже цифры. Но чтобы прийти к финишу первым, не всегда хватит только цифр. Мы знаем мощность мотора, но как машина поведёт себя в дождь? Какая на ней резина? Это играет огромную роль. Так и с человеком. Мы можем замерить его интеллект здесь и сейчас. Но как он поведёт себя в конкретной стрессовой ситуации — цифрами это не измерить никогда.
— Расскажите про кейс, где вы заменили многочасовой очный ассессмент* на 20-минутный онлайн-тест. Для какой должности? Как доказывали, что точность не пострадала?
— Этот инструмент мы внедряли для оценки стажёров. Измеряли коммуникацию, надёжность в работе, адаптивность, лояльность.
Мы всегда проверяем тесты, которые выпускаем. Сначала провели пилот на действующих стажёрах. Сделали статистический анализ: сравнили результаты нашего теста с оценками ассессмента и с оценками, которые ставят наставники во время реальной стажировки. Когда данные сошлись, мы поняли, что инструмент надёжен.
Плюс для самих кандидатов это удобнее: можно пройти в любое время, не тратить целый день. И для заказчиков — результаты легче обрабатывать.
*Ассессмент — это структурированный процесс оценки профессиональных компетенций, личностных качеств, потенциала и поведенческих характеристик кандидата или сотрудника с использованием различных инструментов (тестов, кейсов, интервью, ролевых игр и др.).
— В вашей воронке было 10 000 заявок и 100 нужных кандидатов. Жёсткое сито. Какой процент отсева дал именно ваш тест? Бывали случаи, когда «завалившие» тест становились отличными сотрудниками?
— Тестом мы отсеиваем примерно половину участников. Что касается ошибок — раньше чаще была другая ситуация. Ребята набирают высокие баллы, проходят стажировку и только потом понимают: «Это не моё». Не потому, что они плохие. Просто мы друг другу не подошли. Тест не может измерить «совместимость души», он измеряет конкретные параметры. А дальше включается человеческий фактор.
— У вас портфель из более 100 тестов. Какой запрос был самым необычным? Что оказалось сложнее всего?
— Самое сложное и одновременно самое интересное — это тесты с очень узкой спецификой. Например, на знание определённых законов. Но при этом заказчик хочет не просто сухой тест «вопрос — ответ», а чтобы было интересно, как на олимпиаде. Приходится погружаться в тончайшие нюансы профессиональной области, иногда почти становиться экспертом в чужой сфере на время разработки. Это вызов, который мне нравится.
— Вы говорили, что контекст — самый недооценённый фактор. Можно ли спроектировать тест, который учитывает контекст? Или это всегда ограничение, о котором нужно честно предупреждать?
— Можно, и в этом наше преимущество. Поведение человека не фиксировано. Один и тот же сотрудник со «средними» баллами в одной команде может показать высокие результаты в другой. Мы учитываем не только контекст целой отрасли, но даже конкретного департамента. Если это здравоохранение — кейсы будут с медицинскими сценариями. Каждый тест у нас — кастомизированная история. Но важно понимать: мы учитываем контекст на входе, при проектировании. Мы не можем предсказать, как поменяется контекст через полгода. Поэтому да, я всегда предупреждаю: тест — это слепок здесь и сейчас, а жизнь — это поток.
— Вы упомянули, что крупные проекты, включая «Лидеров России» или МГУ, используют Классическую теорию тестирования (КТТ). При этом вы работаете на современной методологии — IRT. Почему вы придерживаетесь другого подхода?
— Классическая теория тестирования — это совершенно рабочий и уважаемый подход. Она легче в подсчётах и отлично решает свои задачи. У неё просто другая оптика.
Я же использую современную теорию — IRT (Item Response Theory). На ней работают международные системы вроде GMAT и TOEFL. В IRT у каждого вопроса своя трудность, и результат не зависит от того, с кем именно ты сдаёшь тест в этот день. Это позволяет строить адаптивное тестирование и проводить гораздо более тонкие исследования.
Моя методология не «строже» и не «лучше» в абсолютном смысле — она просто продвинутее в одних задачах и избыточна в других. Для массового отбора, где важно сравнивать кандидатов из разных потоков и лет, IRT даёт больше возможностей. Но я никогда не говорю, что КТТ — это плохо. Просто у меня другой инструментарий под мои задачи.
— Вы обучаете экспертов. Чему сложнее всего обучить? Что новички понимают неправильно с первого раза?
— К нам на обучение приходят в основном уже состоявшиеся методологи или HR-эксперты. У всех есть своё сформированное мнение. И переломить его очень тяжело.
Самый частый спор — о количестве вариантов ответа. Кто-то создаёт вопрос, где всего два варианта: «да» или «нет». Ты начинаешь объяснять: здесь высокая степень угадывания, такой вопрос принесёт мало информации. А человек стоит на своём:
«Я методолог, я так хочу». Психометрике очень сложно обучить методолога, у которого уже есть «своя правда» о том, как делать тесты.
— Как вы сами пришли в психометрику? Был ли момент, когда вы поняли, что «обычные тесты» не работают?
— Смешно признаться, но я всю жизнь плохо решала тесты. Сейчас ещё хуже — потому что я смотрю не на содержание, а на то, как они составлены. Изначально я просто хотела понять: есть ли лайфхаки, чтобы проходить тесты легче? Оказалось, есть. Но чем глубже я копалась, тем больше понимала, что 90% тестов, которые мне попадались, методологически никуда не годятся. Так я и пришла в профессию — из желания разобраться, почему большинство тестов не работают.
— Честно говоря, вы описали картину, где любая оценка — это всегда приближение. Что бы вы сказали HR-директору, который читает это интервью и хочет прямо сейчас улучшить свои процессы?
— Я бы сказала три вещи.
Первое: перестаньте искать «хорошего человека в целом». Формализуйте, что именно нужно делать на конкретном месте. Чем уже задача, тем точнее будет измерение.
Второе: не верьте тестам, которые состоят из 3–5 вопросов и связаны с измерительной шкалой. Это не измерение, это лотерея. Надёжный тест требует 10 и более вопросов на одну характеристику.
Третье: будьте честны с собой и с кандидатами. Любая оценка — это всегда упрощение. Человек больше, чем его цифра. И чем лучше мы это понимаем, тем меньше ошибок совершаем в найме.
— Ирина, спасибо. Финальный вопрос — почти личный. Что вас злит в индустрии оценки персонала сегодня?
— Знаете, меня злит, когда продают «волшебную таблетку». Тест, который якобы всё измерит и всё предскажет. Это вредная практика. Она создаёт у бизнеса ложное ощущение, что оценку можно делегировать «чёрному ящику», а потом удивляться, почему отличник теста не стал звездой.
Человек — не цифра. И любая попытка сделать его «точным измерением» — это всегда упрощение. С этим упрощением важно уметь работать, но не принимать его за истину. Если бы индустрия в целом была в этом честнее — ошибок в найме было бы гораздо меньше.
Наверное, это прозвучит жёстко, но обоснованно: объективная оценка — это не «правда о человеке», а ограниченное приближение под конкретную задачу.
И проблема не в том, что инструменты плохие. Проблема в том, что бизнес ждёт от них невозможного.
— Спасибо. Ваша честность, пожалуй, и есть главный инструмент оценки.