Мальцев Владимир Андреевич, профессор, д.соц.н.
Мальцев Кирилл Владимирович, профессор, д.э.н.
Ершов Дмитрий Евгеньевчи, доцент, к.э.н., к.с.-ф.н.
Оценка социально-психологического климата, как правило, включает в себя несколько последовательных этапов работ:
В статье «Оценка социально-психологического климата: подготовка и организация исследования» мы раскрыли содержание первых трех этапов. Целью же данной статьи является описание четвертого этапа – анализ данных.
1. Формирование электронного массива данных, кодировка
В результате завершения третьего этапа, заключающегося в сборе данных об объекте исследования, мы имеем, как правило, определенное количество (от нескольких десятков до нескольких десятков тысяч) заполненных респондентами анкет.
Если мы использовали в опросе онлайн анкеты, то имеется техническая возможность выгрузить массив данных в цифровом варианте, например, в формате csv или xlsx и приступить к дальнейшим действиям, связанным с обработкой данных.
В том случае, если анкеты заполнялись в бумажном виде, нам необходимо произвести довольно рутинную, но весьма ответственную работу по вводу данных из анкет в цифровой формат и их кодировку.
В зависимости от количества анкет, их сложности и количества вопросов, эта процедура может занимать от одного, до нескольких дней. Большое количество открытых вопросов в анкете может существенно усложнить процедуру перевода данных в электронный вид и последующий анализ данных.
Открытые вопросы – вопросы анкеты, которые в отличие от закрытых вопросов, не имеют готовых вариантов ответа, а предполагают свободный ответ респондента.
Для этой работы необходимо сформировать маску ввода – это документ, как правило, в формате xls, содержащий все необходимые поля и легенду полей, описывающую какую информацию из анкеты в какой столбец мы должны занести и структуру кода. Каждая строка таблицы – это отдельная анкета. От простоты и качества маски ввода зависит трудоемкость, а соответственно и стоимость процесса перевода данных в электронный формат. Маска ввода должна быть сформирована еще на втором этапе исследования – после разработки анкеты, и протестирована на этапе тестирования всего инструментария.
Кодировка данных заключается в переводе данных анкет в формат, удобный для дальнейшего анализа данных.
Если вопрос анкеты подразумевал несколько текстовых вариантов ответа, то необходимо эти варианты перевести в числовой формат. Например, вариант ответа «да» - принимает значение 1, «нет» - 2, «затрудняюсь ответить» - 3 и т.д.
2. Контроль данных
После получения массива данных в электронном виде мы в обязательном порядке осуществляем процедуру контроля. Она заключается либо в тотальной, либо выборочной проверке анкет. Еще один вариант – это дублирование процедуры ввода данных, т.е. один и тот же массив данных вводится дважды, разными специалистами, а впоследствии, два массива данных сравниваются между собой для выявления различий. Каждое различие – это признак брака в одном или обоих массивах.
Дальнейшие действия зависят от количества брака в электронном массиве. Если доля брака превышает предельный уровень – процедура ввода данных повторяется. Дублирование процедуры ввода удваивает затраты на этот этап, однако, в некоторых случаях целесообразно увеличить эти затраты, поскольку они существенно снижают риск получить в итоге неадекватные результаты исследования, поскольку технические ошибки ввода данных могут существенно исказить представление об объекте исследования.
Далее данные уже в электронном формате проходят еще один этап проверки. Теперь мы должны проверить насколько осознанно, обдуманно и искренне респонденты отвечали на вопросы анкеты. Для этого на этапе разработки анкеты мы включили в нее несколько вопросов, позволяющих эту проверку осуществить.
Для этой процедуры мы используем свои методики, которые позволяют рассчитать для каждой анкеты уровень «достоверности» ответов. В зависимости от задач исследования, количества собранных анкет и некоторых других факторов, мы либо отбраковываем анкеты, в достоверности которых мы сомневаемся, либо для каждой анкеты рассчитываем вес, который в дальнейшем используем в расчетах. Чем выше «достоверность» анкеты, тем больше ее вес, тем, соответственно, больше значимость этой анкеты в расчете итоговых индексов.
Итак, до момента анализа данных, весь массив проходит строгий, многоуровневый контроль, исключающий риск технических ошибок и минимизирующий риск случайного или осознанного искажения данных респондентом.
3. Обработка данных
Все процедуры обработки и анализа данных технически осуществляются с помощью различных программных средств. В каких-то исследованиях достаточно использовать MS Excel, который содержит основные алгоритмы анализа данных и относительно удобные способы визуализации данных.
Также очень часто аналитики используют специализированное программное обеспечение для статистического анализа, самые распространенные из них: STATISTICA и SPSS. Также к такого рода ПО можно отнести: Minitab, MatLab, Octave, GenStat, JMP, Analyse-it и др.
Для более сложных или специфичных алгоритмов расчета мы разрабатываем собственные алгоритмы и методики на базе R – это специализированный язык программирования для обработки и анализа статистических данных и их визуализации. Его использование позволяет во многих случаях существенно снизить временные затраты на процедуру анализа и визуализации данных. Это особенно актуально для волновых исследований, реализуемых по одному и тому же инструментарию с различной периодичностью – раз в полгода или раз в год, например. Поскольку структура данных при этом не меняется, мы имеем возможность однажды закодировать процесс анализа данных, расчета индексов и отрисовки диаграмм. В таком случае, технический анализ данных очередной волны исследования может занять всего несколько минут. При этом необходимо отметить, что это не освобождает от необходимости интерпретировать полученные данные, а процесс интерпретации может быть чрезвычайно трудоемкий.
Анализ данных в контексте данной статьи – методы и способы поиска и извлечения информации для принятия управленческих решений из массива данных, полученных в результате анкетирования.
Целью статистического анализа данных в широком смысле является выявление (подтверждение, корректировка) статистических закономерностей, или, иначе говоря, сжатие, усреднение содержащихся в данных информации.
Целью анализа данных в контексте диагностики социально-психологического климата является получение его количественно измеримой оценки.
Задачами анализа данных в рассматриваемом нами примере исследования является:
- Расчет значений индексов для каждого фактора социально-психологического климата (вовлеченность, удовлетворенность, лояльность и др.) и интегрального индекса, характеризующего психологическую атмосферу в компании в целом.
- Расчет значений индексов для различных структурных подразделений компаний, для выявления с помощью сравнительного анализа ситуаций в коллективе, требующих отдельного внимания со стороны руководителей.
- Расчет значений индексов для различных категорий сотрудников (руководителей, специалистов, рабочих и др.)
- Расчет динамики значений индексов социально-психологического климата для выявления основных организационных трендов, представляющих риск или возможности для повышения эффективности работы компании.
- Сегментация сотрудников по различным параметрам для выявления организационных рисков (например, выявление низкого уровня лояльности в каком-либо структурном подразделении может свидетельствовать о возможном росте текучести кадров) и повышения эффективности системы управления персоналом.
- Выявления скрытых, неочевидных мотивационных факторов, влияющих на эффективность работы персонала.
4. Расчет индексов
Формат индекса представляется нам наиболее удобным с точки зрения получения количественной оценки качественных категорий, визуализации и восприятия результатов оценки. Индексы также удобны для сравнительного анализа, для оценки динамики.
Индексы могут быть рассчитаны как в целом для всей выборки – общие индексы, так и для ее отдельных групп, например, для каждого из анализируемых структурных подразделений или для каждой из анализируемых категорий сотрудников.
Индексы рассчитываются для каждой исследуемой составляющей социально-психологического климата: лояльность, вовлеченность, сплоченность, удовлетворенность, оптимизм, взаимоотношения с руководством, взаимоотношения в коллективе, конфликтность. Это позволяет глубже анализировать и понимать ситуацию в организации.
Интегральный индекс отражает искомую оценку социально-психологического климата в коллективе и рассчитывается по совокупности его составляющих.
Методы расчета индексов используются различные, выбор метода во многом зависит от задач и характера исследования, требуемого формата визуализации данных, дальнейшего использования данных в управлении и других факторов.
Наиболее часто применяемые методы расчета индексов:
- От 0% до 100%. Индекс рассчитывается в диапазоне от 0% до 100%. 0% - ответы на все вопросы анкеты были максимально негативны, 100% - максимально позитивны. В таком случае, для индексов определяется шкала значений, например: от 0% до 40% - неудовлетворительно, от 41% до 60% - удовлетворительно, от 61% до 80% - хорошо, от 81% до 100% - отлично.
- От -5 до +5. Индекс рассчитывается в баллах в диапазоне от -5 до +5. Отрицательное значение говорит о негативной оценке, положительная – о позитивной, 0 – нейтральная.
- Хорошо/плохо. Индекс рассчитывается как отношение позитивных ответов к негативным ответам. Если значение индекса >1 – оценка положительная, если <1 – отрицательная, =1 – нейтральная.
Первый метод наиболее популярен, поскольку индекс в этом случае измеряется в положительном диапазоне и негативные оценки практически не заметны в итоговом отчете. Это может показаться каким-то «несерьезным» фактором, но на практике, заказчики исследований, действительно, не любят отрицательные оценки, тем более, если они планируют демонстрировать результаты исследования внешним потребителям этой информации. То есть, например, значение индекса 40% или значение индекса -0,15 – являются оценкой одной и той же характеристики, причем негативной оценкой, но в первом случае эта оценка воспринимается лучше, чем во втором.
Индекс от 0% до 100% применяется в тех случаях, когда целью диагностики является общая оценка ситуации в организации и дифференцированная оценка по структурным подразделениям, например, для применения значений индексов в системе мотивации. То есть, в тех случаях, когда в большей степени важно различие значений индексов у структурных подразделений, или динамика индекса, а не их экстремальные значения.
В тех случаях, когда целью диагностики является именно выявление рисков, сложных, «болезненных» ситуаций в коллективе, целесообразнее применять второй и третий метод, где экстремальные оценки ярче представлены.
Важно сохранять методику расчета и инструментарий опроса при последующих волнах исследования для сохранения сопоставимости данных. В таком случае, данные приобретают дополнительное измерение, дополнительную глубину и позволяют оценивать не только текущую ситуацию, но и динамику. Разница в информативности данных в таком случае такая же, как между фотографией и видео.
Метод расчета индексов должен учитывать множество нюансов, которые могут казаться на первый взгляд не существенными, а в итоге оказывать серьезное влияние на итоговый результат.
Например, в анкетах очень часто используется вариант ответа «затрудняюсь ответить». В зависимости от контекста, этот вариант может означать, что респондент нейтрально оценивает какую-либо характеристику, а может это означает, что респондент не имеет никакой информации об оцениваемом предмете. Эти ответы могут быть включены в расчет, как нейтральная оценка, а могут быть исключены из расчетов индекса и результаты могут существенно отличаться. Конечно, таких ситуаций лучше избегать изначально, при разработке анкеты.
В развитие этого примера допустим, мы получили такое количество вариантов ответов:
- Позитивно оценивают – 1 респондент
- Затруднились ответить – 90 респондентов
- Негативно оценивают – 9 респондентов
Если мы трактуем ответ «затруднились ответить» как нейтральную оценку, то значение индекса будет равно 46% (очевидно, что оценка будет близка к нейтральной - 50%, поскольку подавляющая часть респондентов так ответило – 90 из 100). Если же мы исключаем из расчета индекса затруднившихся ответить респондентов, то значение индекса будет равно 10%, поскольку 9 из 10 респондентов поставили негативную оценку)
Разница между результатами – 36 процентных пунктов. В первом случае оценка близка к средней, во втором – экстремально низкая. Очевидно, что и интерпретироваться эти результаты будут по-разному.
Значение индекса рассчитывается на основе анализа ответов на группу соответствующих вопросов анкеты. При формировании метода расчета индекса необходимо оценить вес каждого вопроса в оценке фактора, поскольку вопросы могут быть не равнозначны.
Кроме того, один и тот же вопрос может учитываться в расчетах нескольких индексов, но с разным весом. Расчет интегрального индекса также осуществляется с учетом веса каждого из его составляющих.
Определение значения весов – это задача для экспертов, обладающих достаточным опытом и компетенцией в соответствующей сфере. В идеальном варианте, в этом процессе также участвует руководство организации как конечный потребитель результатов исследования.
Наши методики позволяют рассчитывать индивидуальные индексы для каждого респондента, что позволяет добавить еще одно измерение для анализа данных.
Для различных задач исследования и в зависимости от структуры данных может использоваться широкий спектр методов статистического анализа:
- частотные распределения,
- меры средней тенденции,
- меры разброса (дисперсия, квантильные размахи и др.),
- различные методы анализа связей между номинальными признаками,
- факторный анализ,
- кластерный анализ и другие.
О том, как использовать эти методы в социологических исследованиях есть довольно широкий спектр различных научных работ, учебников и публикаций.
Для большинства заказчиков этап анализа данных не представляет интереса, а их внимание сконцентрировано на конечном аналитическом отчете.
Структура, формат, содержание аналитического отчета – важнейшие факторы успеха любого исследования.
Умение четко, лаконично, информативно и доступно визуализировать и описать результаты исследования – это самостоятельный вид интеллектуальной и творческой деятельности, требующий большого объема труда, опыта, творческого потенциала.
О том, какие существуют подходы к формированию отчетов, визуализации и структурированию данных подробнее рассказано в статье «Оценка социально-психологического климата: формирование аналитического отчета»
