Александр Гудиев
Анализ социальных сетей и диагностика состояния команды
Как измерить эффективность «сети сотрудничества» в команде и организации
Введение
«… любая информация, создаваемая в организации, должна в теории свободно доходить до всех остальных частей организации, где она может быть полезной...
…К сожалению, информация никогда не распространяется внутри организации
так свободно, как того хотело бы её руководство…»
Фрэнсис Фукуяма,
«Великий разрыв. Человеческая природа и воспроизводство социального порядка»
Новые времена всегда несут с собой новые вызовы. На смену привычному, и, как многим казалось, предсказуемому и достаточно упорядоченному миру пришел изменчивый и непредсказуемый VUCA-мир, которому, по мнению Джамаиса Кашио наследовал BANI-мир: хрупкий, тревожный, нелинейный и непостижимый. Очевидно, что усложнение выстраиваемой нами цивилизационной системы всё больше и больше усиливает тренды, связанные с неопределенностью и скоростью изменений. Ещё несколько лет назад термин «турбулентность» в применении к обществу и бизнесу использовался для того, чтобы подчеркнуть особую важность происходящих процессов. Сегодня же это стало простой констатацией факта, не вызывающей, самой по себе, сильных эмоций. Действительно, «светит солнце», «на небе луна», «дует ветер», «турбулентность рынка» – что в этом может быть такого особенного?
Хорошая новость заключается в том, что как в правильно поставленном вопросе содержится изрядная часть ответа, так и в хорошо описанной проблеме всегда можно рассмотреть пути её решения. И, если взглянуть внимательно на составляющие BANI-вызова, можно увидеть, что одним из важнейших ключей к решению проблемы адаптации к этому новому миру являются так называемые «сети сотрудничества» – взаимодействующие и постоянно обменивающиеся информацией люди. Хорошо отлаженная сеть таких людей вовремя заметит «тонкие сигналы», которые скажут об угрозе хрупкому миру, за счёт постоянного обмена значимой и достоверной информацией снизят уровень тревоги. Кросс-функциональные команды, включенные в профессиональные сети и сообщества, не пропустят «бабочек», вызывающих «торнадо в Калифорнии», снизив тем самым влияние нелинейности BANI-мира. Своевременный и грамотный анализ информации, её правильная приоритизация и маршрутизация в сети «коллективной памяти», поможет справиться с информационной перегрузкой, а, значит и с вызовом непостижимости.
Создание эффективной сети сотрудничества, как в отдельных командах, так и в организациях невозможно без периодического анализа имеющейся ситуации и активных действий по её упорядочиванию. Проведение подобной диагностики позволяет определить истинное положение дел в отношении каналов коммуникации, потенциальных «узких мест» и областей «перегрузки» во взаимодействиях, выявить реальную, а не декларируемую систему лидерства и авторитетов, проанализировать объемы и эффективность взаимодействия между структурами. Проблема заключается в том, как мы можем обнаружить и надлежащим образом управлять этими сетями сотрудничества?
Ответ можно найти в применении анализа социальных сетей в организациях. В двух словах, анализ социальных сетей (SNA) – это процесс изучения социальных структур путем обычного анализа социальных данных с помощью различных мер, разработанных на основе теории графов, которые помогают объяснить, как эти социальные структуры развиваются во времени и как они влияют на среду, в которой существуют. Какое влияние существующие (и проектируемые) организационные сети могут оказывать на текущую производительность и на потенциал развития организации.
Хорошая новость заключается в том, что как в правильно поставленном вопросе содержится изрядная часть ответа, так и в хорошо описанной проблеме всегда можно рассмотреть пути её решения. И, если взглянуть внимательно на составляющие BANI-вызова, можно увидеть, что одним из важнейших ключей к решению проблемы адаптации к этому новому миру являются так называемые «сети сотрудничества» – взаимодействующие и постоянно обменивающиеся информацией люди. Хорошо отлаженная сеть таких людей вовремя заметит «тонкие сигналы», которые скажут об угрозе хрупкому миру, за счёт постоянного обмена значимой и достоверной информацией снизят уровень тревоги. Кросс-функциональные команды, включенные в профессиональные сети и сообщества, не пропустят «бабочек», вызывающих «торнадо в Калифорнии», снизив тем самым влияние нелинейности BANI-мира. Своевременный и грамотный анализ информации, её правильная приоритизация и маршрутизация в сети «коллективной памяти», поможет справиться с информационной перегрузкой, а, значит и с вызовом непостижимости.
Создание эффективной сети сотрудничества, как в отдельных командах, так и в организациях невозможно без периодического анализа имеющейся ситуации и активных действий по её упорядочиванию. Проведение подобной диагностики позволяет определить истинное положение дел в отношении каналов коммуникации, потенциальных «узких мест» и областей «перегрузки» во взаимодействиях, выявить реальную, а не декларируемую систему лидерства и авторитетов, проанализировать объемы и эффективность взаимодействия между структурами. Проблема заключается в том, как мы можем обнаружить и надлежащим образом управлять этими сетями сотрудничества?
Ответ можно найти в применении анализа социальных сетей в организациях. В двух словах, анализ социальных сетей (SNA) – это процесс изучения социальных структур путем обычного анализа социальных данных с помощью различных мер, разработанных на основе теории графов, которые помогают объяснить, как эти социальные структуры развиваются во времени и как они влияют на среду, в которой существуют. Какое влияние существующие (и проектируемые) организационные сети могут оказывать на текущую производительность и на потенциал развития организации.
Организация исследований
Можно выделить два подхода к исследованию социальных сетей в командах и организациях: активный и пассивный.
В случае активного подхода проводятся опросы, направленные на изучение взаимоотношений и взаимодействия между сотрудниками. Участникам исследования предлагается ответить на ряд вопросов в отношении своих коллег по команде, либо в отношении подразделений/функций, если речь идет об анализе организационных сетей.
В первом случае (уровень команды) вопросы могут звучать, как: «С кем бы из коллег вы хотели поработать над общей задачей/проектом?» или «К кому из коллег вы обратитесь за профессиональным советом?». Отвечая на вопросы, респонденты отмечают либо произвольное, либо заданное число коллег, как вариант – ранжируя их по очередности выбора. Используются также отрицательные формы вопросов типа «С кем из коллег вы не хотели бы общаться в нерабочее время?». Формулировки вопросов выбираются в зависимости от цели исследования – для изучения структуры эмоционального и/или экспертного лидерства, постановки задач, доступности помощи, доверия и т.п.
При изучении сети организации сотрудникам подразделений предлагается также ответить на вопросы, но уже относительно других структур. Например, «Оцените пожалуйста, с каким отделом и как часто Вам приходится общаться для выполнения своих функций?», «Оцените, пожалуйста, эффективность Вашего взаимодействия с этими отделами / функциями?».
При обработке результатов формируется матрица взаимных оценок, позволяющая в дальнейшем, как проводить расчеты сетевых показателей, так и визуализировать результаты в виде ориентированного графа[1].
[1] Граф – модель системы, состоящая из элементов системы (вершины графа, узлы) и связей между ними (ребра графа). Ориентированный граф содержит информацию о направленности связей между его вершинами.
В случае активного подхода проводятся опросы, направленные на изучение взаимоотношений и взаимодействия между сотрудниками. Участникам исследования предлагается ответить на ряд вопросов в отношении своих коллег по команде, либо в отношении подразделений/функций, если речь идет об анализе организационных сетей.
В первом случае (уровень команды) вопросы могут звучать, как: «С кем бы из коллег вы хотели поработать над общей задачей/проектом?» или «К кому из коллег вы обратитесь за профессиональным советом?». Отвечая на вопросы, респонденты отмечают либо произвольное, либо заданное число коллег, как вариант – ранжируя их по очередности выбора. Используются также отрицательные формы вопросов типа «С кем из коллег вы не хотели бы общаться в нерабочее время?». Формулировки вопросов выбираются в зависимости от цели исследования – для изучения структуры эмоционального и/или экспертного лидерства, постановки задач, доступности помощи, доверия и т.п.
При изучении сети организации сотрудникам подразделений предлагается также ответить на вопросы, но уже относительно других структур. Например, «Оцените пожалуйста, с каким отделом и как часто Вам приходится общаться для выполнения своих функций?», «Оцените, пожалуйста, эффективность Вашего взаимодействия с этими отделами / функциями?».
При обработке результатов формируется матрица взаимных оценок, позволяющая в дальнейшем, как проводить расчеты сетевых показателей, так и визуализировать результаты в виде ориентированного графа[1].
[1] Граф – модель системы, состоящая из элементов системы (вершины графа, узлы) и связей между ними (ребра графа). Ориентированный граф содержит информацию о направленности связей между его вершинами.
Рис 1. Пример ориентированного графа
В случае с пассивными методами исследования, проводится анализ коммуникаций между сотрудниками по разным каналам: электронной почты, мессенджеров, форумов, телефонных звонков, социальных сетей и пр. Как правило для этого необходимо либо наличие специального программного обеспечения, интегрированного в систему корпоративной коммуникации или соответствующих функций (анализа коммуникаций) у используемой в организации платформы для совместной работы.
Результатами пассивного анализа также является информация о взаимодействиях между людьми и подразделениями, их направленности, частоте, характере и других особенностях.
Результатами пассивного анализа также является информация о взаимодействиях между людьми и подразделениями, их направленности, частоте, характере и других особенностях.
Объекты исследований и изучаемые показатели
Объекты исследований
При изучении социальных сетей команд и организаций объектами исследований являются:
На данном этапе лучше всего развит инструментарий исследований и методология интерпретации результатов на индивидуальном уровне, уровне команд и организаций. В вопросах же внутригрупповых структур, взаимодействия между командами, сетях, включающих команды с мультиподчиненностью сотрудников и команды с «нечетким» / переменным составом формирование методической базы, во многом только происходит.
Изучаемые показатели
При проведении анализа социальных сетей, чаще всего рассматриваются следующие показатели.
1) Индивидуальные – к ним относятся рассчитываемые при анализе полученной матрицы связей показатели «центральности», т.е. положения актора в сети. Чаще всего рассматривают следующие меры центральности:
При изучении социальных сетей команд и организаций объектами исследований являются:
- Отдельные люди (акторы сети) – специалисты и руководители / лидеры команд
- Внутригрупповые структуры, т.е. малые группы акторов, объединенные взаимными связями (диады, триады, клики)
- Команды – т.е. постоянные, обособленные, объединенные общими целями группы
- Межкомандное взаимодействие, например, в рамках совместно выполняемого проекта
- Взаимодействие между подразделениями /функциями во всей организации или её части
На данном этапе лучше всего развит инструментарий исследований и методология интерпретации результатов на индивидуальном уровне, уровне команд и организаций. В вопросах же внутригрупповых структур, взаимодействия между командами, сетях, включающих команды с мультиподчиненностью сотрудников и команды с «нечетким» / переменным составом формирование методической базы, во многом только происходит.
Изучаемые показатели
При проведении анализа социальных сетей, чаще всего рассматриваются следующие показатели.
1) Индивидуальные – к ним относятся рассчитываемые при анализе полученной матрицы связей показатели «центральности», т.е. положения актора в сети. Чаще всего рассматривают следующие меры центральности:
- Центральность по степени, входящая (Indegree centrality) – по числу входящих связей, т.е. по числу полученных актором выборов со стороны других членов команды. Можно сказать, что входящая центральность по степени соответствует такому понятию, как «популярность»
- Центральность по степени, исходящая (Outdegree centrality) – по числу, сделанному самим актором выборов, т.е. по числу его исходящих связей
- Центральность посредничества (Betweenness centrality) – по тому, насколько узел лежит на кратчайшем пути между другими узлами в сети. Можно сказать, что узел с наибольшей степенью посредничества может контролировать наибольшее число каналов коммуникации
- Центральность близости (Closeness centrality) определяется тем, за какое число «шагов» можно дойти от изучаемого узла сети до всех остальных. Т.е. чем выше центральность близости, тем быстрее информация от актора может достичь самый удаленный узел сети.
- Центральность собственного вектора (Eigenvector centrality)вычисляется с учетом того, каков «вес» у узлов, с которыми связан изучаемый узел. Т.е. более «влиятельный» узел тот, который, в свою очередь, связан с другими влиятельными узлами.
- Связующая центральность (Bridging centrality) определяет узлы, которые соединяют плотно связанные области графа (кластеры). Акторы с высокими значениями по этому показателю одновременно важны, как информационные «мосты» между частями команды и, потенциально, могут быть местом возникновения т.н. «бутылочных голышек» и задержек при проведении больших объемов информации / взаимодействий.
- Социометрическому статусу, рассчитываемому по результату положительных и отрицательных выборов, получаемых респондентом.
- Коэффициенту удовлетворенности взаимодействием (положением в группе), представляющем собой соотношение выборов, сделанных респондентов к взаимным выборам, в которых он участвует. Максимальное значение (Куд = 1,0) – когда все, кого выбрал респондент, взаимно выбирают его.
Рис 2. Визуализация различных мер центральности
2) Характеристики самой сети – к ним относятся прежде всего плотность сети, её централизация, структура ядра/периферии, кластеризация сети.
- Плотность сети (Network density). Мера связности сети. Отношение количества фактических связей в сети к количеству максимально возможных. Указывает на степень представленности признака, лежащего в основе выборов респондентов.
- Централизация сети (Network centralization). Мера степени, в которой связи организованы вокруг конкретных узлов. Сеть со степенью централизации «1», т.н. «звездный граф», предполагает связь всех узлов сети только с одним, центральным узлом. Степень «0», характерная для т.н. «полного графа», говорит о том, что каждый из узлов сети связан со всеми остальными, т.е. сеть максимально децентрализована.
- Структура ядра / периферии (Core-periphery structure). Сетевая структура, состоящая из набора тесно связанных между собой основных узлов, а также менее связанных периферийных узлов, которые, как правило, имеют соединения только с основными узлами, а не с другими периферийными узлами.
- Кластеры сети (Network clusters) – группы узлов в сети, имеющие существенно более плотные связи друг с другом, чем с остальными узлами сети. На Рис. 2 узлы A, B и D принадлежат трём разным кластерам, а узел С выполняет роль т.н. «информационного брокера», их связывающего.
Рис 3. Сети с разной степенью централизации
Таким образом, проведя расчет различных сетевых и индивидуальных показателей и выполнив визуализацию сетевой структуры, мы можем сделать ряд выводов о том, как происходит взаимодействие в команде (организации), кто из участников сети имеет те или иные преимущества / риски, связанные с его положением и участием в этом взаимодействии.
Добавляя к сетевым показателям данные о штатной структуре, информацию об особенностях функций и бизнес-процессов мы получаем возможность для анализа планируемого и реального положения в команде /организации, основу для выявления «узких мест», точек потенциальных конфликтов, невостребованном потенциале или, наоборот, возможной перегрузке входящих в сеть узлов (людей и / или структур).
Например, добавление в структуру отрицательных выборов по вопросу об экспертности, сделанных в одной из команд информации о принадлежности к функциям, мы помимо простой схемы личных отношений, можем увидеть, явную связь с рабочими процессами:
Добавляя к сетевым показателям данные о штатной структуре, информацию об особенностях функций и бизнес-процессов мы получаем возможность для анализа планируемого и реального положения в команде /организации, основу для выявления «узких мест», точек потенциальных конфликтов, невостребованном потенциале или, наоборот, возможной перегрузке входящих в сеть узлов (людей и / или структур).
Например, добавление в структуру отрицательных выборов по вопросу об экспертности, сделанных в одной из команд информации о принадлежности к функциям, мы помимо простой схемы личных отношений, можем увидеть, явную связь с рабочими процессами:
Рис 4. Структура отрицательных выборов (1) до разделения по функциям и (2) после.
Красным обозначен взаимный негативный выбор
Такое объединение формальной и «неформальной» информации позволяет лучше интерпретировать происходящее в команде и получать существенно более полезные для реальной работы выводе, нежели просто анализ исчисляемых показателей или межличностных связей.
Использование комбинированного анализа элементов сети, её визуализации и особенностей формальной структуры и процессов особенно эффективно при проведении исследования организационных сетей. Так, при проведении анализа одной из организаций, после учета числовых характеристик, связанных с объемами взаимодействия и его эффективности, а также после выделения приоритетных по весу связей между подразделений и расчета кластеризации, стало очевидным чёткое разделение административного и производственного кластеров, их достаточно плотная внутренняя и слабая взаимная связанность, очевидная перегруженность одних структур и «периферийность» - других.
Использование комбинированного анализа элементов сети, её визуализации и особенностей формальной структуры и процессов особенно эффективно при проведении исследования организационных сетей. Так, при проведении анализа одной из организаций, после учета числовых характеристик, связанных с объемами взаимодействия и его эффективности, а также после выделения приоритетных по весу связей между подразделений и расчета кластеризации, стало очевидным чёткое разделение административного и производственного кластеров, их достаточно плотная внутренняя и слабая взаимная связанность, очевидная перегруженность одних структур и «периферийность» - других.
Рис 5. Разделение на относительно слабо взаимодействующие кластеры в рамках одной организации. Размеры узлов соответствуют показателям степени входящей центральности.
Заключение
Безусловно, исследования командных и организационных сетей далеко не исчерпывается приведенными выше инструментами.
Так, для определения зависимости позиций акторов в структурах референтного и экспертного лидерства (и не только) может быть использовано вычисление коэффициента QAP-корреляции (Quadratic Assignment Procedure), позволяющей определить взаимосвязанность разных графов.
Сопоставление разных значений центральности – выявить наиболее популярных, влиятельных и информированных членов команды, а сопоставление этой информации с знанием об их рабочих функциях, командных ролях и месте в иерархии авторитетов – сделать заключение о степени оптимальности структуры команды.
Сравнивая данные о структуре выборов в отношении взаимных предпочтений и профессиональной взаимной оценки, мы можем сделать вывод о существующей в команде культуре отношения к «носителям знаний», а анализируя сложившиеся микрогруппы (диады, триады, клики большей размерности) – дать прогноз по взаимной поддержке, усилению или, наоборот, по возможности эскалации конфликтов в группе.
Подобная информация может быть полезной не только при диагностике актуального состояния команды и планировании её развития, но и в ситуациях, когда новому руководителю необходимо в сжатые сроки составить представление о происходящих в команде процессах или, когда речь идет об исследовании команды, физически удаленной от «центров принятия решений» (филиал, представительство и т.п.).
Сетевой анализ может стать хорошим способом для определения наиболее важных участников информационного обмена, особенно в ситуациях кросс-функциональных задач и взаимодействия разных команды или подразделений.
Он также может подсказать, удаление каких из элементов организационной сети может привести к наибольшим потерям в коммуникациях и общей производительности и, тем самым, помочь сфокусировать меры по удержанию персонала.
Если же возвращаться к теме изменчивости и неопределенности, с которой мы начинали нашу статью, то внедрение такого признанного инструмента преодоления этих вызовов, как распределенное, децентрализованное лидерство, также невозможно без понимания реальных процессов взаимодействия в команде, позиций её членов, связей, существующих между ними в отношении разных аспектов рабочего и индивидуально-психологического контекста
Так, для определения зависимости позиций акторов в структурах референтного и экспертного лидерства (и не только) может быть использовано вычисление коэффициента QAP-корреляции (Quadratic Assignment Procedure), позволяющей определить взаимосвязанность разных графов.
Сопоставление разных значений центральности – выявить наиболее популярных, влиятельных и информированных членов команды, а сопоставление этой информации с знанием об их рабочих функциях, командных ролях и месте в иерархии авторитетов – сделать заключение о степени оптимальности структуры команды.
Сравнивая данные о структуре выборов в отношении взаимных предпочтений и профессиональной взаимной оценки, мы можем сделать вывод о существующей в команде культуре отношения к «носителям знаний», а анализируя сложившиеся микрогруппы (диады, триады, клики большей размерности) – дать прогноз по взаимной поддержке, усилению или, наоборот, по возможности эскалации конфликтов в группе.
Подобная информация может быть полезной не только при диагностике актуального состояния команды и планировании её развития, но и в ситуациях, когда новому руководителю необходимо в сжатые сроки составить представление о происходящих в команде процессах или, когда речь идет об исследовании команды, физически удаленной от «центров принятия решений» (филиал, представительство и т.п.).
Сетевой анализ может стать хорошим способом для определения наиболее важных участников информационного обмена, особенно в ситуациях кросс-функциональных задач и взаимодействия разных команды или подразделений.
Он также может подсказать, удаление каких из элементов организационной сети может привести к наибольшим потерям в коммуникациях и общей производительности и, тем самым, помочь сфокусировать меры по удержанию персонала.
Если же возвращаться к теме изменчивости и неопределенности, с которой мы начинали нашу статью, то внедрение такого признанного инструмента преодоления этих вызовов, как распределенное, децентрализованное лидерство, также невозможно без понимания реальных процессов взаимодействия в команде, позиций её членов, связей, существующих между ними в отношении разных аспектов рабочего и индивидуально-психологического контекста
Список источников
Argote L., Aven B. L., Kush J. 2018. The effects of communication networks and turnover on transactive memory and group performance. Organization Science, 29: 191-206.
Borgatti S. P., Brass D. J., Halgin D. S. 2014. Social network research: Confusions, criticisms, and controversies. In Brass D. J., Labianca G., Mehra A., Halgin D. S., Borgatti S. P. (Eds.), Research in the sociology of organizations: 1-29. Bradford, UK: Emerald Group.
Cascio Jamais Facing the Age of Chaos [В Интернете] // medium.com/@cascio. - 29 Apr 2020 г
Daly, A., & Moolenaar, N. (2011). Leadership networks. In G. A. Barnett (Ed.), Encyclopedia of social networks (Vol. 1, pp. 480-484). SAGE Publications, Inc., https://dx.doi.org/10.4135/9781412994170.n190
Froehlich, D., & Längler, M. (2022). Centrality. In B. Frey (Ed.), The SAGE encyclopedia of research design (Vol. 1, pp. 189-189). SAGE Publications, Inc., https://dx.doi.org/10.4135/9781071812082.n77
Borgatti S. P., Brass D. J., Halgin D. S. 2014. Social network research: Confusions, criticisms, and controversies. In Brass D. J., Labianca G., Mehra A., Halgin D. S., Borgatti S. P. (Eds.), Research in the sociology of organizations: 1-29. Bradford, UK: Emerald Group.
Cascio Jamais Facing the Age of Chaos [В Интернете] // medium.com/@cascio. - 29 Apr 2020 г
Daly, A., & Moolenaar, N. (2011). Leadership networks. In G. A. Barnett (Ed.), Encyclopedia of social networks (Vol. 1, pp. 480-484). SAGE Publications, Inc., https://dx.doi.org/10.4135/9781412994170.n190
Froehlich, D., & Längler, M. (2022). Centrality. In B. Frey (Ed.), The SAGE encyclopedia of research design (Vol. 1, pp. 189-189). SAGE Publications, Inc., https://dx.doi.org/10.4135/9781071812082.n77
Ogilvie, Kristie & Assimakopoulos, Dimitris. (2007). Social Network Analysis Of Team Dynamics And Intraorganizational Development In An Aerospace Firm. International Federation for Information Processing Digital Library; Establishing The Foundation Of Collaborative Networks;. 243. 10.1007/978-0-387-73798-0_44.
Park, S., Grosser, T. J., Roebuck, A. A., & Mathieu, J. E. (2020). Understanding Work Teams From a Network Perspective: A Review and Future Research Directions. Journal of Management, 46(6), 1002–1028. https://doi.org/10.1177/0149206320901573
Scott J. Social Network Analysis, 4th Edition. (2017). SAGE Publications Inc. 2455 Teller Road Thousand Oaks, California 91320
Tillmann S., Huettermann H., Sparr J.L., Boerner S. (2022). When Do Team Members Share the Lead? A Social Network Analysis. Frontiers in Psychology. Vol 13. DOI=10.3389/fpsyg.2022.866500
Zhu, J., Liao, Z., Yam, K. C., and Johnson, R. E. (2018). Shared leadership: a state-of-the-art review and future research agenda. J. Organ. Behav. 39, 834–852. doi: 10.1002/job.2296
Park, S., Grosser, T. J., Roebuck, A. A., & Mathieu, J. E. (2020). Understanding Work Teams From a Network Perspective: A Review and Future Research Directions. Journal of Management, 46(6), 1002–1028. https://doi.org/10.1177/0149206320901573
Scott J. Social Network Analysis, 4th Edition. (2017). SAGE Publications Inc. 2455 Teller Road Thousand Oaks, California 91320
Tillmann S., Huettermann H., Sparr J.L., Boerner S. (2022). When Do Team Members Share the Lead? A Social Network Analysis. Frontiers in Psychology. Vol 13. DOI=10.3389/fpsyg.2022.866500
Zhu, J., Liao, Z., Yam, K. C., and Johnson, R. E. (2018). Shared leadership: a state-of-the-art review and future research agenda. J. Organ. Behav. 39, 834–852. doi: 10.1002/job.2296