Измерение для изменения реальности: что происходит в сфере исследований для НКО
Материал подготовлен по итогам экспертной дискуссии «Исследование НКО: вызовы и перспективы», которая состоялась в Центре развития благотворительности и социальной активности «Благосфера».
Растущему спросу на исследовательские данные со стороны НКО способствуют несколько факторов .
Есть запрос со стороны благотворителей, которые хотят убедиться в эффективности расходования предоставленных НКО ресурсов, отмечает Наталья Каминарская, директор Центра «Благосфера». Есть организации с опытом исследований в этой сфере и профессиональное сообщество специалистов, изучающих и оценивающих качественные результаты работы НКО. Бизнес, поддерживающий НКО, способствует внедрению практики предпроектной оценки рисков, возможностей, потенциальных результатов в некоммерческой сфере.
Наталья Каминарская. Фото: Вадим Кантор/АСИ
И наконец один из важнейших факторов — требование подтверждать значимость результатов проекта, правильный фокус, поддержку аудитории как условие предоставления грантовых средств со стороны государственных и окологосударственных институций.
Эксперты отмечают, что интерес к исследованиям появляется там, где его раньше не было. Несколько лет назад их проводили преимущественно крупные НКО и главным образом московские, говорит Юлия Скокова, руководитель Лаборатории социальных исследований и аналитики Ver.Sia Lab. Сейчас картина совсем другая.
«Во-первых, мы выполняем заказы для региональных организаций, они сами к нам приходят. И второе — у нас когда-то был запущен курс и остались в онлайне вебинары про прикладные исследования, так сейчас нам пишут из регионов: мы хотим, чтобы вы этот курс повторили. Запрос на обучение есть, и он выходит за пределы Москвы», — отмечает Скокова.
Что под водой?
Исследования, которые проводятся в некоммерческом секторе, можно разделить на две части, говорит Татьяна Задирако, исполнительный директор Фонда поддержки и развития социальных программ «Социальный навигатор».
Есть крупные игроки, такие как Фонд Потанина или Фонд Тимченко, они много внимания уделяют оценке воздействия НКО и проводят масштабные исследования.
«Это верхушка айсберга, так и должно быть, флагманские организации должны быть примером для остальных. Но есть и вещи, которые уходят под воду, — это внутренние исследования, их многие фонды заказывают для развития стратегии, линейки продуктов, применяемых подходов», — продолжает Татьяна Задирако.
Фото предоставлено Татьяной Задирако
По ее мнению, сегодня нужно больше исследований, дающих материал для экстраполяции, выявления тенденций, выстраивания траектории развития всего некоммерческого сектора.
«Инфраструктурные исследования сектора — сейчас их почти нет. Одна из важнейших причин этому — деньги. Сложные, многокомпонентные исследования стоят больше 200 тысяч рублей. В разы. Для таких исследований должен быть заказчик. Заказчик должен быть достаточно зрел для этого», — объясняет Татьяна Задирако.
Но для большинства НКО исследования такого масштаба и глубины сегодня — задача на вырост, программа максимум, пик Коммунизма, считает Наталья Каминарская.
С чем сравнивать?
Исследований в некоммерческом секторе становится больше, а предмет исследования при этом сужается, констатирует Игорь Задорин, руководитель исследовательской группы ЦИРКОН.
«Если посмотреть на начало нулевых, мы брали тогда задачи, которые сейчас перед нами не ставятся. Тогда было больше исследований про контекст деятельности НКО, социальную активность, доверие — про базу работы некоммерческого сектора. Сейчас таких мало», — говорит Задорин.
По его мнению, когда мы говорим о росте количества исследований в некоммерческом секторе, важно понимать, с чем мы его сравниваем. Сравнение с бизнесом и госсектором в этом плане не в пользу НКО, уверен эксперт.
«В некоммерческом секторе нет такого, чтобы каждая НКО считала обязательным измерение социального эффекта своей деятельности», — подчеркивает Задорин.
Кто заказывает и что исследуют?
Заметно меньше среди заказчиков исследований некоммерческого сектора стало крупных корпораций. Их интерес в значительной степени определялся парадигмой корпоративной социальной ответственности.
«Сама повестка КСО ушла, — считает Игорь Задорин. — Я надеюсь, что в свете переформатирования под ESG [Environmental, social, governance — окружающая среда, социальная ответственность, ответственное корпоративное управление. — Прим. АСИ], кто-то вернется. Если бы в исследовательский сегмент вернулся крупный бизнес, это было бы очень правильно».
От НКО поступает много заказов на прикладные исследования по линии развития коммуникаций и маркетинга, отмечает Юлия Скокова. Главный заказчик таких исследований в некоммерческом секторе — фандрайзинговые фонды. «Они работают с частными массовыми донорами, их надо изучать, удовлетворять, с ними нужно взаимодействовать, отсюда исследовательский интерес», — говорит Скокова.
В этой сфере есть темы, уже изученные вдоль и поперек: «Мы уже наизусть знаем, каким организациям чаще всего жертвуют, какие барьеры, какие мотивы», — продолжает Скокова.
Растущий интерес к прикладным исследованиям заметен в том числе по конкурсу ESOMAR Research Got Talent, в котором исследовательские команды готовят проекты для некоммерческих организаций. «Из 20 примерно исследований 10-15 очень похожи друг на друга», — отмечает Ольга Дроздова, руководитель проектов Агентства социальной информации, член жюри конкурса.
«Что касается инфраструктурных исследований, мы в АСИ пытаемся быть таким заказчиком, который хочет узнать не про себя, а про сектор вообще. И нас в том числе и доноры постоянно спрашивают: а какое прикладное значение все это будет иметь? Просто так нам никто не даст ничего фундаментально поисследовать», — говорит Дроздова.
Ольга Дроздова. Фото: Мария Муравьёва/АСИ
Где результаты?
В ряде случаев материалы исследований не обнародуются вообще и доступны только заказчику. «80, если не 90% исследований сегодня не являются публичными. Так устроена система», — говорит Наталья Каминарская.
В ряде случаев результаты исследований не видны, потому что их никто целенаправленно не продвигает.
Остро стоит также проблема интерпретации результатов. АСИ получило огромный массив данных, когда инициировало исследование по устойчивости НКО, отмечает Ольга Дроздова. Агентство приглашало экспертов и вместе с ними разбирало «по косточкам», что такое устойчивость.
«Колоссальный материал, который мы получили в ходе совместного с ЦИРКОНом исследования профессиональной идентичности и мотивации работы в НКО, мы до сих пор разбираем», — продолжает Дроздова.
Ежегодно большой массив данных некоммерческому сектору дает мониторинг уровня развития гражданского общества Высшей школы экономики. «У него тоже большой потенциал прикладного использования, но как до него докопаться, тоже не всегда очевидно. И здесь вопрос не только между заказчиком и исполнителем, но и в переводе результатов на человеческий язык», — отмечает Наталья Каминарская.
Есть проблема освоения данных, полученных в ходе внутренних, прикладных исследований, «заточенных» под нужды конкретных некоммерческих организаций. «Получаешь интересный материал, массив ценных данных и не можешь его опубликовать, потому что он собран под тебя и нужен кто-то, кто объяснит внешнему читателю, что он с этим материалом может сделать, — говорит Ирина Лапидус, директор программ Фонда Потанина. — Обидно, когда работа идет в стол».
Какие сложности у НКО — заказчиков исследований и исполнителей?
«Обычная ситуация НКО — заказчика исследования, как мне кажется, такая. У нас не очень много денег. Нам нужен очень конкретный результат, который мы пока не можем сформулировать. Нам все это нужно было вчера. И так, чтобы мы могли этим везде размахивать», — объясняет Наталья Каминарская.
В значительной степени это связано с отсутствием опыта исследовательских проектов. Новичкам тяжело: «Чувствуешь себя дилетантом. Тебе нужно готовить ТЗ, формулировать гипотезу, а на другом конце стола сидят люди, которые произносят умные непонятные слова, говорят на незнакомом языке», — рассказывает Ольга Дроздова.
Но главное, как подчеркивают исполнители исследований, часто НКО сами не вполне понимают, что именно им нужно от исследователей.
Иногда НКО-заказчик приходит с образом желаемого результата, даже в плане методов, отмечает Юлия Скокова: «Нам говорят: мы хотим опрос. Начинаешь спрашивать: что именно вы хотите узнать, что со всем этим будете дальше делать, какую исследовательскую и управленческую задачу планируете решить, — и выясняется, что опрос-то там вовсе не нужен…».
Юлия Скокова. Фото предоставлено Центром «Благосфера»
Не всегда организации готовы пересматривать свою позицию даже после консультации с исследователями, результата в этом случае с высокой вероятностью не будет. «Цифры — это красиво, но если организации нужно решать прикладную задачу, не всегда можно использовать процент, да еще со смещенной выборкой, чтобы что-то улучшить в работе НКО», — продолжает Скокова.
Многие трудности могут быть исключены за счет обучения НКО. По такому пути пошли в фонде «Социальный навигатор».
«Прежде чем заказывать исследования, мы сами прошли обучение, — рассказывает Татьяна Задирако. — Был специальный тренинг, который проводил Комитет общественных связей города Москвы, Институт прикладных политических исследований [курс «Прикладные исследования и работа с данными для НКО». — Прим. АСИ]. После этого весь диапазон взаимодействий стал гораздо проще. Это помогло в дальнейшем менее императивно взаимодействовать с исполнителем».
На ком выводы исследования?
Часто НКО — заказчики исследований рассчитывают получить на выходе прикладной вывод, который они сразу же смогут применить в своей работе.
«Появился заказчик, который говорит нам: и что? Ему уже не данные от нас нужны, а готовое решение, что делать дальше. Мы объясняем: за этим в другое окошко. На нем должно быть написано «Консалтинг», а у нас — «Исследования», — говорит Игорь Задорин. — Это очень распространенная претензия к заказчику, что он не видит разницы между измерением социальной реальности и изменением».
«Фактуру мы вам выдадим под ваши потребности, а соответствующие выводы делает заказчик, исходя из своих управленческих задач. Мы какие-то ограничения можем задать: например, говорим, это нельзя так интерпретировать, потому что данные не позволяют или метод не позволяет, но только в этом плане. Заказчик по идее должен лучше понимать контекст использования данных. И у него должна быть доля ответственности за интерпретацию данных».
Игорь Задорин. Фото: Вадим Кантор/АСИ
Обязательна ли специализация?
Владея инструментом, исследователь может работать с любым материалом, но в то же время, глядя на результаты исследований, выполненных широкопрофильными маркетинговыми и коммуникационными агентствами, специалисты часто видят, что специфику сектора исполнитель понимает не вполне.
«Но и у нашего глубокого погружения в тему есть свои недостатки. Мы можем что-то идеализировать, привносить ранее полученные знания в исследования. Важно, чтобы у заказчика был выбор исполнителей», — считает Юлия Скокова.
В 1990-е годы все исследовали всё, говорит Игорь Задорин. Было без разницы, что изучать: СМИ, социологию семьи, бизнес… Сейчас специализация есть, но чтобы пересчитать тех, кто занимается профильными исследованиями некоммерческого сектора, хватит пальцев одной руки.
«Если мы на регионы посмотрим, ГРАНИ вспомним, Светлану Маковецкую. И это все. Это плохо. Поэтому люди идут в непрофильные агентства. Я очень сожалею, что фонд «Общественное мнение» ушел с этого рынка, он был очень серьезным игроком. Было бы правильно, чтобы появлялись еще исследователи, специализирующиеся на некоммерческом секторе», — говорит Задорин.
Как повысить качество исследований?
Нужно добавить в схему «исследователь — заказчик» третьего человека или группу лиц — эксперта или экспертный совет, который оценит, насколько корректно все сделано.
«Я обязал бы во всех грантах, где есть исследования, тратить хоть 5% на экспертизу. Это повышает качество в разы», — говорит Игорь Задорин.
Благотворительный фонд «Социальный навигатор» собирает экспертный совет по теме каждого своего исследования. Состав совета заказчик и исполнитель определяют совместно.
АСИ и исследовательская группа ЦИРКОН работают вместе давно, но тоже отдают совместные исследования на экспертизу.
«Медиаисследование, которое мы вместе проводим четыре года, мы каждый раз обсуждаем с экспертами», — говорит Ольга Дроздова.
Как стимулировать НКО к участию в исследованиях?
«Почему мне кажется, что исследований становится больше? Я без конца получаю обращения от разных институций: пожалуйста, примите участие в исследовании, опросе, формализованном интервью, дайте нам 20 минут вашего времени или полтора часа вашего внимания», — говорит Наталья Каминарская.
Перед каждым экспертом НКО встает вопрос, какие из многочисленных предложений принимать, на что стоит тратить свое время. А для исследователя это вызов: как заинтересовать аудиторию гиперзанятых людей? В бизнесе платить людям за участие в экспертном интервью совершенно нормально. В некоммерческом секторе такой практики нет, и довольно сложно представить, где взять на это ресурсы, а главное — как это будет выглядеть с этической точки зрения.
«Я сама участвую только тогда, когда понимаю, для чего нужно исследование. Это не всегда очевидно. Поэтому звонишь, объясняешь, просишь людей принять участие, по-другому я это не вижу, — рассказывает Татьяна Задирако. — Если в запросе не написано: потратьте пять минут вашего времени, и мы дадим вам ознакомиться с результатами, отклик нулевой».
«Когда мы делали анкету для исследования про профессиональную идентичность сотрудников НКО, хотелось спросить про все на свете. Нам коллеги говорили: куда такую огромную анкету, ее бросят на середине, давайте сокращать. Мы много усилий потратили, писали почтой, в мессенджерах, и получили даже больший отклик, чем рассчитывали», — говорит Ольга Дроздова.
«Мы поставили себя на место респондента и предложили ему рассказать о себе самом. Насколько ему лично в некоммерческом секторе хорошо, что ему тут нравится — и люди в это вовлеклись», — подчеркивает эксперт. В итоге в исследовании приняли участие более 600 человек.
«Исполняем танцы с бубнами, — рассказывает Юлия Скокова об опыте Ver.Sia Lab. — Индивидуальные сообщения в WatsApp — это минимум, чтобы мотивировать людей принять участие в исследовании по оценке уровня организационного развития. А максимум — мы каждой организации даем индивидуальный отчет».
Исследование «Оценка уровня организационного развития НКО» — часть проекта «Пульс НКО», первого долгосрочного практико-ориентированного исследования некоммерческих организаций. Его участниками уже стали более 700 НКО со всей страны.
Вторая часть проекта «Пульс НКО» — опрос «Оценка внешней среды развития НКО», кроме того проводятся блицопросы на важные для НКО темы.
Отчет дает участнику опроса возможность сравнить свои показатели организационного развития с некоммерческим сектором в целом и получить индивидуальные рекомендации. Процесс создания таких отчетов автоматизирован, для этого привлечены айтишники, написан код на тысячу строк…
«Чтобы удержать людей в этом исследовании, мы даем такую «плюшку», которую никто больше не дает бесплатно, — продолжает Скокова. — Благодаря этим невероятным усилиям, response rate исследования [доля корректно заполненных респондентами опросов. — Прим. АСИ] составляет 50 и чуть-чуть плюс процентов. И в то же время мы постоянно слышим: данных не хватает, давайте больше!»
Почему секторальных исследований мало?
Помимо главного фактора — это, конечно, деньги, — есть целый ряд сдерживающих обстоятельств.
Границы сектора не определены
Исследование всегда начинается с двух базовых вопросов: объект исследования и предмет исследования, кого изучаем и что изучаем, объясняет Игорь Задорин. В случае с некоммерческим сектором проблемы начинаются уже на первом вопросе.
«Мало того, что юридически есть 10 определений, что такое НКО, так еще есть субъективное мнение. Что нам правовые основания, когда есть собственные представления! Понятно, почему мы удаляем религиозные объединения, садовые товарищества и т.д. Но нечеткость, гибридность НКО — проблема: каждое внутрисекторное исследование определяет объект ad hoc, и часто это определение вызывает возражения, потому что у наблюдателя нет понимания, по поводу кого вы делаете выводы», — говорит Задорин.
Не хватает ресурсов на продвижение
Исследования — это дорого, а качественное продвижение еще дороже. Расходы на него нужно обязательно закладывать в бюджеты исследовательских проектов, подчеркивает Татьяна Задирако. Иначе результаты так и будут лежать академическим грузом, отмечает эксперт.
«Мы всегда говорим: нужно распространять результаты, нужно публиковать что-то, делать интересную инфографику. Все знают, что цифры транслируются лучше всего, они везде нужны», — говорит Ирина Краснопольская, специалист лаборатории Ver.Sia Lab. Но где взять цифры, если большинство исследований — качественные? Краснопольская советует исследователям особое внимание уделить предварительному анализу проблемы, сбору вторичной информации, статистики, которая уже есть по теме.
«Саммари, резюме имеющихся данных легко транслируется везде. И ваше исследование становится более востребованным и намного проще его использовать заинтересованным сторонам», — объясняет Ирина Краснопольская.
Проблемы с мотивацией объекта
«Если бизнес проводит исследование, он понимает, что сейчас он подкрутит что-нибудь в маркетинге и у него вырастет прибыль. Если политик заказывает себе исследование, он знает, что сможет с его помощью повысить себе рейтинг. Для НКО не вполне ясно, что в результате она улучшит в своей деятельности, каков профит НКО от этих дополнительных знаний», — говорит Игорь Задорин.
«Нам важно, чтобы, продвигая результаты секторальных исследований, сразу говорили, чем это поможет, в чем даст приращение: волонтеров у вас побольше появится, доверие населения повысится и т.д. Иначе ответ на вопрос, а для чего мне это надо, становится неочевидным, и response rate сразу падает, и весь процесс воспринимается как игры богатеньких, прошу прощения, фондов», — продолжает эксперт.
«Мы в Фонде Потанина стараемся выбирать темы, которые не сами придумали, а извне получили, — говорит Ирина Лапидус. — Но когда мы начинаем изучать, как используются наши результаты внешней аудиторией… Реакция такая: «Мы почитали, нам интересно, красиво, но мы сами для себя выводов сделать не можем, и в управленческих решениях использовать это не можем». Видимо, мы должны еще какие-то усилия приложить, чтобы аудитория могла пользоваться результатами наших исследований».
В некоммерческом секторе нет коллективного субъекта
Нет того, кто преобразует знания о секторе в целом в действия, констатирует Игорь Задорин.
В ходе исследования инфраструктуры некоммерческого сектора, которое совместно проводили Фонд Потанина и группа ЦИРКОН, выяснилось, например, что не хватает музеев некоммерческого сектора. Запрос есть, а музеев нет.
«Среди прочих фантастических результатов было и такое, — вспоминает Игорь Задорин. — Вопрос: для кого эта информация? Должен быть такой коллективный субъект, который мог бы такого рода информацию преобразовать в действие. Исследования предполагают наличие такого метасубъекта управленческих действий, но у нас его нет», — говорит Игорь Задорин.
«Если есть такой запрос, под него что-нибудь непременно родится. Если у сектора такие ожидания, если это есть в информационном поле. Мне, например, знание о том, что нам не хватает музеев, понравилось, — комментирует Наталья Каминарская. — Я тот человек, кто думал об этом, и вот нашел подтверждение своим мыслям в исследовании. Неизвестно, кому еще и когда это отзовется. Я считаю, что каждое наше исследование носит прикладной характер: оно обязательно найдет того, кто его куда-нибудь приложит».
Несовпадающие ожидания НКО и исследователей
Фонд «Социальный навигатор», работая над ренкингом благотворительных организаций — 2022, провел два исследования: кабинетное и экспертное. «Мы спрашивали, экспертов о том, какая польза НКО от участия в ренкинге или от того, что он стал видимым», — говорит Татьяна Задирако. Результаты экспертного исследования фонд «Социальный навигатор» представит в начале 2024 года.
Задача ренкинга благотворительных организаций — упорядочить информацию о них. Рейтингуются только благотворительные организации, представленные на платформе и отвечающие формальным требованиям. Рейтингование ведется по четырем ключевым критериям: открытость, социальная отчетность, финансы, управление и риски. Открытость — самый весомый критерий — его вес 30%, у остальных по 25%.
В итоге получили два вывода. Один — вполне очевидный: ренкинг работает на усиление репутации благотворительных организаций, которые в нем представлены. И второй — «мимо нашей кассы», как выразилась Татьяна Задирако: «Организации считали бы ренкинг «ресурсосодержательным», если бы все это было сделано в интересах доноров. А под донорами опрошенные эксперты подразумевают Фонд президентских грантов и Президентский фонд культурных инициатив».
«Еще было экспертное мнение о том, что хорошо бы создавать личные кабинеты организаций — участников ренкинга при условии, что организация, внесшая в него информацию, могла бы повлиять на свое положение в ренкинге. А мы этого сделать «в моменте» не можем, только на следующий год», — говорит Задирако.
Высокая конкуренция за время и внимание респондентов
«Мы строим свою профессиональную репутацию в сфере исследований некоммерческого сектора, но за внимание аудитории конкурируем с теми, кто не строит профессиональную репутацию, но так же хочет участия респондентов, — отмечает Юлия Скокова. — Я много раз видела такой, извините за слово, «местечковый» интерес, обращенный к руководителю НКО: мы тут кое-что хотим выяснить, нам по гранту надо опрос провести, ну пожалуйста, ответьте».
Все это главным образом информационный шум, результаты таких «местечковых» исследований как правило не публикуются и публично не обсуждаются. Но для стоящих исследований это конкурентная среда, в которой запросто можно затеряться.
Что будет с исследованиями НКО дальше?
Прогнозы экспертов в основном пессимистичны. Они уже видят падение: исследования, как непрофильная для НКО деятельность, не входят в приоритеты, когда организации решают, на что потратить ограниченные ресурсы.
«Пытаясь выжить, ты не будешь думать об исследованиях», — говорит Юлия Скокова.
«Исследовательский сектор будет уходить в какие-то таргетированные направления, работу с узкопрофильными организациями», — прогнозирует Татьяна Задирако. Но фонд «Социальный навигатор» будет продолжать искать деньги на исследования инфраструктуры сектора. «Если не будет денег, все равно будем делать. Не знаю как, может быть бесплатно, на партнерских основаниях, на основе каких-то иных договоренностей. Потому что исследования — лакмусовая бумажка того, в каком состоянии находится сектор и куда он с нашей помощью может развиваться».
Сектор, в меру своих объективно ограниченных лоббистских возможностей, должен убедить государство в том, что в конкурсах Фонда президентских грантов и Президентского фонда культурных инициатив нужно создавать отдельное направление — для рефлексии и инфраструктурного развития, считает Игорь Задорин.
И обязательно нужно вернуться к исследованиям контекста, в котором работает некоммерческий сектор. «Все-таки главный капитал некоммерческого сектора не деньги и даже не инфраструктура, а социальный капитал, люди. Поэтому нужны исследования по поводу социальной капитализации сектора: доверия, вовлеченности людей и т.д.», — говорит Игорь Задорин.
«У нас в последние десять лет произошла массированная декапитализация некоммерческого сектора в смысле социального капитала. Туда, как мне кажется, и должны быть устремлены основные исследования и именно прикладного характера», — убежден эксперт.
Сообщение Измерение для изменения реальности: что происходит в сфере исследований для НКО появились сначала на Агентство социальной информации.