uzluga.ru
добавить свой файл



День 1: Какую роль играет специалист по оценке?

  • День 1: Какую роль играет специалист по оценке?

  • Основные аспекты оценки (Техзадание)

  • Трансформационная парадигма

  • Многообразие и социальная справедливость; привилегии

  • Культурная компетентность

  • День 2: Качественные и количественные подходы

  • День 3: Подход, предполагающий сочетание качественных и количественных методов



Имя, должность, организация (пожалуйста, не используйте аббревиатуры).

  • Имя, должность, организация (пожалуйста, не используйте аббревиатуры).

  • Откуда вы приехали?

  • Есть ли у вас опыт проведения исследований в мультикультурных или маргинальных сообществах? Какой?

  • Сталкивались ли вы с социальной несправедливостью?

  • Чего вы ждете от этого семинара?



«Социальные преобразования» - что это?

  • «Социальные преобразования» - что это?

  • Может ли оценка помочь осуществлять социальные преобразования?

  • Какую роль в деле социальных преобразованиях может играть специалист по оценке?





Гендерное равенство и права человека – «больные» темы, тесно связанные с политическими и социальными условиями, в которых реализуются программы. Поэтому исключительно важно использовать инклюзивные подходы с участием всех заинтересованных сторон. Проблема в том, что эти подходы требуют значительных затрат времени и управления сложной системой отношений. Если мы будем предвидеть, с какими сложностями и ограничениями можем столкнуться, то сможем предложить дизайн оценки, который с большей вероятность обеспечит получение хороших результатов.

  • Гендерное равенство и права человека – «больные» темы, тесно связанные с политическими и социальными условиями, в которых реализуются программы. Поэтому исключительно важно использовать инклюзивные подходы с участием всех заинтересованных сторон. Проблема в том, что эти подходы требуют значительных затрат времени и управления сложной системой отношений. Если мы будем предвидеть, с какими сложностями и ограничениями можем столкнуться, то сможем предложить дизайн оценки, который с большей вероятность обеспечит получение хороших результатов.

  • На заметку: По мнению UN Women, оценка, основанная на ценностях гендерного равенства и прав человека, должна выявлять и анализировать проявления неравенства, дискриминационные практики и несправедливое распределение властных полномочий, которые являются главным препятствием для социально-экономического и личностного развития. UN Women 2011



Тенденции: растущий интерес к вопросам социальной справедливости и прав человека при проведении исследований и оценки

  • Тенденции: растущий интерес к вопросам социальной справедливости и прав человека при проведении исследований и оценки

  • Смена парадигм: учет мнения маргинализированных групп

  • Движущие силы изменений



Декларация ООН по правам человека (1948)

  • Декларация ООН по правам человека (1948)

  • Декларации ООН по правам :

    • представителей разных рас
    • людей с ограниченными возможностями
    • женщин
    • детей
    • рабочих-мигрантов
    • коренных и малочисленных народов


Неравное распределение властных полномочий

  • Неравное распределение властных полномочий

  • Дискриминация/ угнетение

  • Сопротивление сообщества

  • Осуждение жертвы

  • Незаслуженные привилегии

  • Идеализация существующих традиций

  • Механизмы социальной интеграции и маргинализации

  • Сложные культурные системы



Анализ деятельности в рамках программы

  • Анализ деятельности в рамках программы

  • Системный и непредвзятый

  • Ориентирован на выявление достижений (ожидаемый и достигнутых)

  • Рассматривает цепочку результатов, процессы, контекст и причинно-следственные связи

  • Чтобы определить “релевантность (соответствие ситуации и целям), влияние, результативность, эффективность и устойчивость результатов программы”

  • Источник: UNEG, 2005



Предполагает равные права, обязанности и возможности для мужчин и женщин.

    • Предполагает равные права, обязанности и возможности для мужчин и женщин.
    • Подразумевает учет интересов, потребностей и приоритетов и женщин, и мужчин, и признание многообразия среди мужчин и женщин.
    • Является одним из прав человека, а также условием и показателем уровня социально-экономического и личностного развития.
    • Источник: UNEG Guidance


Что такое оценка, основанная на ценностях гендерного равенства и прав человека?

  • Что такое оценка, основанная на ценностях гендерного равенства и прав человека?

  • Это оценка, которая объединяет подходы, ориентированные на ценности гендерного равенства и прав человека:

  • Анализирует, в какой степени программа учитывает организационные и системные цели в области гендерного равенства и прав человека;

  • Интегрирует эти подходы в процесс проведения оценки.



Учитывает распределение властных полномочий;

  • Учитывает распределение властных полномочий;

  • Определяет структурные причины неравенства и дискриминации;

  • Определяет влияние программы на бедных и тех, кто сталкивается с дискриминацией;

  • Используется процессы с участием заинтересованных сторон и рефлексию; и

  • Признает права женщин и гендерное равенство, выявляет притязания правообладателей и обязанности тех, на кого возложена какая-либо ответственность

  • Стремиться обеспечить все более широкое соблюдение прав человека и гендерного равенства

  • Источник: UNEG/UNSSC, Module, 2008



Концептуальные:

  • Концептуальные:

    • Признает гендерную природу развития и значение гендерного равенства для социального и экономического развития
    • Признает социокультурную природу бедности и маргинализации. Признает, что социальное положение мужчин и женщин определяется их расовой, этнической, классовой или кастовой принадлежностью, а также возрастом и состоянием здоровья.
    • Признает, что в семье существует определенное разделение властных полномочий, связанное с разделение властных полномочий в обществе, государстве и экономике


ТЗ на оценку определяет, зачем проводится оценка (цель); что нужно проанализировать (фокус и ключевые вопросы); каким образом и когда будет проводиться оценка (методы и источники информации); кто и как будет использовать результаты оценки. ТЗ состоит из взаимосвязанных разделов, названия и инструкции по заполнению которых приведены в «Руководстве по подготовке ТЗ» UN Women. ТЗ влияет на все этапы процесса оценки, так как оно используется для привлечения ресурсов для проведения оценки, является руководящим документом в процессе проведения оценки (включая подготовку промежуточных отчетных материалов и финального отчета), ясно определяет, как будут использовать результаты оценки после ее окончания. UN Women 2011

  • ТЗ на оценку определяет, зачем проводится оценка (цель); что нужно проанализировать (фокус и ключевые вопросы); каким образом и когда будет проводиться оценка (методы и источники информации); кто и как будет использовать результаты оценки. ТЗ состоит из взаимосвязанных разделов, названия и инструкции по заполнению которых приведены в «Руководстве по подготовке ТЗ» UN Women. ТЗ влияет на все этапы процесса оценки, так как оно используется для привлечения ресурсов для проведения оценки, является руководящим документом в процессе проведения оценки (включая подготовку промежуточных отчетных материалов и финального отчета), ясно определяет, как будут использовать результаты оценки после ее окончания. UN Women 2011



Заголовок

  • Заголовок

  • Контекст и назначение оценки, как будут использоваться ее результаты

  • Контекст программы

  • Описание программы

  • Рамки оценки

  • Вопросы оценки

  • Существующие источники информации



  • Молодежь Ботстваны:

  • Использование трансформационного подхода для решения проблемы неравного распределения полномочий по борьбе с ВИЧ/СПИД





Оценка Фазы 1 Кампании «Скажи нет насилию»



Ваша картина мира

  • Ваша картина мира

  • Ваши представления

    • об этике (аксиология)
    • о реальности (онтология)
    • о природе знания и отношениях между субъектом и объектом познания (эпистемология)
    • о том, как нужно проводить системные исследования (методология)


Система представлений и убеждений, которая предполагает активное участие в исследовании различных культурных групп во имя социальной справедливости.

  • Система представлений и убеждений, которая предполагает активное участие в исследовании различных культурных групп во имя социальной справедливости.

  • Метафизическая «рамка»: критические теории, феминистские теории, приоритет прав человека, учет национальных и культурных традиций, постколониализм



Гендерная природа развития; гендерное равенство как условие экономического и социального развития

  • Гендерная природа развития; гендерное равенство как условие экономического и социального развития

  • Признание гендерной природы бедности и маргинализации, того, что социальное положение мужчин и женщин определяется их расовой, этнической, классовой или кастовой принадлежностью, а также возрастом и состоянием здоровья

  • Признание наличия в семье разделения властных полномочий, связанного с разделение властных полномочий в обществе, государстве и экономике UNWOMEN 2011



Инклюзивность – дезагрегирование групп по релевантным критериям

  • Инклюзивность – дезагрегирование групп по релевантным критериям

  • Участие заинтересованных сторон и рефлексия – серьезное и уважительное отношение к заинтересованным сторонам

  • Уважение - к культуре, языку, гендеру, месту и уровню способностей

  • Прозрачность и ответственность: доступность

  • Сочетание качественных и количественных методов: контекст, влияние, соответствие ситуации и целям, результативность, эффективность и устойчивость.



Аксиология: Уважение к культурным нормам; приверженность правам человека и социальной справедливости, взаимное сотрудничество

  • Аксиология: Уважение к культурным нормам; приверженность правам человека и социальной справедливости, взаимное сотрудничество

  • Онтология: Вопросы распределения властных полномочий и критический анализ различных реальностей: социальной, политической, культурной, расовой и этнической, гендерной, возрастной, религиозной и связанной с состоянием здоровья, - чтобы выявить факторы, которые помогают сохранять существующие механизмы дискриминации

  • Эпистемология: Власть и структура взаимодействий; социальная и историческая привязка знания; доверительные отношения.

  • Методология: сочетание качественных (диагностика) и количественных методов; контекст



Общественное благо: Обеспечить максимум положительных результатов для науки, человечества и отдельных участников исследования и свести к минимуму или нулю ненужный риск, вред или урон.

  • Общественное благо: Обеспечить максимум положительных результатов для науки, человечества и отдельных участников исследования и свести к минимуму или нулю ненужный риск, вред или урон.

  • Уважение: Уважительное и вежливо обращение в людьми, в том числе с недееспособными (например, маленькими детьми, людьми с задержкой в умственном развитии и страдающих старческим слабоумием)

  • Справедливость: Риску должны подвергаться только те, кто получит выгоду в результате исследования; процедуры должны быть рациональными, исключать эксплуатацию участников, быть тщательно продуманными и применяться справедливо. (Отчет Белмонта)



Обязанности перед участниками

  • Обязанности перед участниками

  • Уважение достоинства и разнообразия

  • Право на самоопределение

  • Адекватное представление

  • Соблюдение норм работы с уязвимыми группами

  • Компенсация

  • Конфиденциальность

  • Предупреждение ущерба



Этические принципы, которые должны соблюдаться при проведении оценки в системе ООН (Группа ООН по оценке) - UNEG Ethical Guidelines for Evaluation in the UN System



Участие заинтересованных сторон, инклюзивность

    • Участие заинтересованных сторон, инклюзивность
    • Ориентация на использование результатов оценки, осознанность
    • Прозрачность, независимость и непредвзятость
    • Качество и достоверность
    • Соблюдение этических принципов


Выявление и уважение к культурным нормам, которые способствуют соблюдению прав человека и социальной справедливости;

  • Выявление и уважение к культурным нормам, которые способствуют соблюдению прав человека и социальной справедливости;

  • Выявление и критика культурных норм, которые способствуют сохранению системы угнетения;

  • Взаимность – что специалисты по оценке дают сообществам;

  • Стойкость – признание значимости знаний, опыта и сильных сторон, которыми обладают сообщества;

  • Устойчивость – создание условий, при которых сообщество сможет продолжить действия, направленные на достижение социальной справедливости и обеспечение соблюдения прав человека, и после ухода специалиста по оценке;

  • Признание ограничений: Специалист по оценке не должен выходить за определенные рамки и давать неисполнимые обещания.



Лица, на которые возложена обязанность принимать решения относительно программы, например, органы управления программы; другие лица, на которые возложены определенные обязанности, например, сотрудники правительственных учреждений, имеющих отношение к программе

  • Лица, на которые возложена обязанность принимать решения относительно программы, например, органы управления программы; другие лица, на которые возложены определенные обязанности, например, сотрудники правительственных учреждений, имеющих отношение к программе

  • Лица, на которые возложена ответственность за программу, например, ее руководители

  • Лица, которым была передана часть ответственности за реализацию программы, например, бизнес или родители

  • Лица, обладающие определенными правами: благополучатели программы, целевые и нецелевые

  • Лица, обладающие определенными правами, положение которых программа ухудшила

  • UNWomen 2011



Создать консультативную группу

  • Создать консультативную группу

  • Кто? Ключевые представители национальных правительственных структур, партнеров, НКО, женских организаций, благополучателей, руководства программы, других агентств ООН и/или доноров

  • Роль: разработка ТЗ на проведение оценки, принятие решений, предоставление знаний о контексте и содержательной стороне программы и/или помощь в сборе данных, подготовка отчета, распространение и использование результатов оценки



Как вы будете использовать результаты оценки?

  • Как вы будете использовать результаты оценки?

  • На какие ваши вопросы о программе должна ответить оценка?

  • Какой потенциально полезной информации о программе у вас сейчас нет?

  • Что именно должна проанализировать оценка?

  • Есть какие-то моменты, которые не нужно рассматривать в процессе оценки?

  • На ваш взгляд, каким образом в процессе оценки должны собираться необходимые данные и информация?



Что, по-вашему, вы знаете о культурных нормах и взглядах различных заинтересованных сторон?

  • Что, по-вашему, вы знаете о культурных нормах и взглядах различных заинтересованных сторон?

  • Как можно использовать оценку, чтобы:

  • определить, какие культурные нормы и взгляды существуют в сообществе?

  • должным образов включить в проведение оценки членов сообщества?

  • Определить, какие культурные нормы и взгляды способствуют установлению социальной справедливости, а какие – сохранению социального неравенства и угнетения?

  • Дополнительные вопросы:

  • Каким образом можно измерить, что, когда вы уйдете из сообщества после окончания исследования, ситуация там будет лучше, чем до вашего прихода, - что люди получили новые знания, приобрели новые способности, что появились новые политики или практики?

  • Каким образом можно использовать опыт, знания и сильные стороны сообщества, чтобы взаимодействие между его членами и специалистом по оценке было искренним и равноправным?



ТП признает, что существуют различные версии реальности;

  • ТП признает, что существуют различные версии реальности;

  • Различные версии реальности не являются равноценными;

  • Признает существование привилегий, которые предоставляются в соответствии с представлениями о реальности, связанными с социальными, политическими, культурными, экономическими, этническими, гендерными, религиозными и физическими различиями

  • Ставит под сомнение версии реальности, которые способствуют сохранению неравенства и угнетения;

  • Привлекает внимание к версиям реальности, которые способствуют соблюдению прав человека



Шри-Ланка – многонациональное государство. Из 21 миллиона жителей две трети составляют сингалезцы, и многие из них исповедуют буддизм.

  • Шри-Ланка – многонациональное государство. Из 21 миллиона жителей две трети составляют сингалезцы, и многие из них исповедуют буддизм.

  • 18% населения – тамилы, которые исповедуют в основном индуизм и христианство. Тамилы проживают в основном в северных, восточных, западных и центральных провинциях. Примечание: есть индийские тамилы и шриланкийские тамилы.

  • В 1956 году Парламент принял закон, согласно которому единственным официальным языком является сингальский язык. А 1972 году были приняты законы, которые по мнению общественности дискриминируют тамилов при поступлении в университеты.

  • Мусульмане составляют 7% населения. Мусульмане сосредоточены в городах, а также в центральных, южных и восточных провинциях.

  • В 2004 году цунами обрушилось на северное, восточное и южное побережья острова. 30 тысяч людей погибло, десятки тысяч остались без крова. Среди районов, где проводилось исследования, сильнее всего пострадал район Ампара на востоке.



Считается, что бедность зависит от состава семьи. Беднейшие семьи часто:

  • Считается, что бедность зависит от состава семьи. Беднейшие семьи часто:

  • Большие, с большим числом членов, которые не могут сами содержать себя

  • без отца или с большим числом женщин, престарелых и нездоровых людей;

  • семьи, в которых кто-то болен, часто живущие за счет одного кормильца;

  • несовершеннолетние дети в таких семьях часто должны работать, чтобы семья могла сводить концы с концами.





Как можно использовать оценку, чтобы:

  • Как можно использовать оценку, чтобы:

  • Найти, оказать поддержку и вовлечь в работу различных участников, чтобы можно было

  • Выявить различные версии реальности, и в том числе понять, как в них распределяются привилегии и власть?

  • Способствовать изменению представлений о реальности?



Необходимость взаимодействия между специалистом по оценке и участниками;

  • Необходимость взаимодействия между специалистом по оценке и участниками;

  • Признание социальной и исторической обусловленности знания;

  • Открытое признание неравного распределения властных полномочий;

  • Установление доверительных отношений.



За последние несколько десятилетий Шри-Ланка пережила два крупных конфликта. Группа сингалезских повстанцев, называвших себя Народно-освободительным фронтом (Джаната Вимукти Перамуна) попыталась свергнуть правительство сначала с 1971, а потом в 1989 году. Правительство жестоко подавило восстание 1989-91 гг. Было убито почти 60 тысяч человек.

  • За последние несколько десятилетий Шри-Ланка пережила два крупных конфликта. Группа сингалезских повстанцев, называвших себя Народно-освободительным фронтом (Джаната Вимукти Перамуна) попыталась свергнуть правительство сначала с 1971, а потом в 1989 году. Правительство жестоко подавило восстание 1989-91 гг. Было убито почти 60 тысяч человек.

  • Второй конфликт, который развязали «Тигры освобождения Тамил-Илама», начался в 1983 году и привел к гражданской войне за отделение исторических территорий проживания тамилов. Конфликт продолжался до 2009 г.



Как понять, какой властью и привилегиями вы обладаете?

  • Как понять, какой властью и привилегиями вы обладаете?

  • Как, по-вашему, вас воспринимают сообщества, с которыми вы работаете?

  • Как вы можете использовать оценку, чтобы:

  • Решить проблемы, связанны с тем, что у одних сообществ власти и полномочий меньше, чем у других?

  • Заставить услышать голоса слабых, не имеющих власти?

  • Установить доверительные отношения?



Во имя выявления, корректной интерпретации и уважения к разнообразию, специалисты по оценке должны сделать так, чтобы члены команды, которая проводит оценку, коллективно проявляли культурную компетентность (Американская ассоциация оценки, Публичное заявление относительно культурной компетентности при проведении оценки, 2011)

  • Во имя выявления, корректной интерпретации и уважения к разнообразию, специалисты по оценке должны сделать так, чтобы члены команды, которая проводит оценку, коллективно проявляли культурную компетентность (Американская ассоциация оценки, Публичное заявление относительно культурной компетентности при проведении оценки, 2011)



Культура неизбежно влияет на оценку.

  • Культура неизбежно влияет на оценку.

  • Люди, участвующие в оценке, привносят в нее свои ценности, взгляд на мир и культуру.

  • Культура влияет на то, как формулируются вопросы оценки, что, в свою очередь влияет на то, какие данные собирают, каким образом их собирают, анализируют и как интерпретируют.



Культурная компетентность – это не результат, а процесс получения, потери и повторного обретения знаний.

  • Культурная компетентность – это не результат, а процесс получения, потери и повторного обретения знаний.

  • Это чувствительность, которую нужно культивировать в течение всей жизни.

  • Культурная компетентность требует самоосознания, размышлений о своей культуре, понимания культуры других людей, способности открыто и с уважением взаимодействовать с другими людьми.

  • Специалисты по оценке, обладающие культурной компетентностью, не допускают мысли, что они целиком и полностью понимают позиции и взгляды заинтересованных сторон, чья культура отличается от их собственной.

  • Культурная компетентность зависит от контекста (AEA 2011)



• Внимательно и уважительно обдумывайте жизненный опыт и мнения участников программ;

  • • Внимательно и уважительно обдумывайте жизненный опыт и мнения участников программ;

  • • Стройте отношения так, чтобы обеспечить доверительный обмен информацией между всеми участниками процесса оценки.

  • • При дизайне оценки и интерпретации данных используйте теоретические подходы, учитывающие культурные особенности или даже адаптированные к данной культуре.

  • • Выбирайте методы, которые соответствуют культурному контексту исследования.

  • • Учитывайте ожидаемые и побочные последствия при оценке их работы (AEA 2011)



Как вы определяете культурную компетентность?

  • Как вы определяете культурную компетентность?

  • Каково значение культурной компетентности при проведении оценки?

  • Как вы развиваете культурную компетентность?

  • Как вы демонстрируете культурную компетентность?

  • Какие риски таит в себе данная концепция?



В начале планирования оценки исследователям необходим диалог (сбор качественной информации), чтобы понять, в каком культурном контексте им предстоит работать;

  • В начале планирования оценки исследователям необходим диалог (сбор качественной информации), чтобы понять, в каком культурном контексте им предстоит работать;

  • Использование качественных и количественных данных позволяет учесть интересы различных участников и различные аспекты;

  • Используемые методы должны адекватно отражать сложность контекста и быть приемлемыми для культурных групп, которые участвуют в исследовании;

  • Можно использовать цикличный дизайн, чтобы использовать в ходе исследования промежуточные результаты.





Молодежь Ботстваны:

  • Молодежь Ботстваны:

  • Использование трансформационного подхода для решения проблемы неравного распределения полномочий по борьбе с ВИЧ/СПИД



Как разработать дизайн исследования, чтобы:

  • Как разработать дизайн исследования, чтобы:

  • Учесть необходимость диалога/ сбора качественных данных в начале планирования, чтобы учесть культурный контекст;

  • Предусмотреть сбор количественных и качественных данных, чтобы учесть интересы различных участников и различные аспекты;

  • Использовать методы, позволяющие отразить сложность культурного контекста и приемлемые для культурных групп, участвующих в исследовании;

  • Используйте цикличный дизайн, чтобы использовать промежуточные результаты в ходе исследования.



Как можно использовать оценку, чтобы наладить взаимодействие со всеми участниками и собрать данные, которые помогут и вам, и им лучше понять сообщество?

  • Как можно использовать оценку, чтобы наладить взаимодействие со всеми участниками и собрать данные, которые помогут и вам, и им лучше понять сообщество?

  • Как можно построить процесс сбора данных, чтобы учесть потребности самых разных участников?

  • Каким образом можно спланировать оценку, чтобы повысить вероятность использования ее результатов для обеспечения социальной справедливости и соблюдения прав человека?



Mertens, D. M. & Wilson, A. (in press). Program Evaluation. NY: Guilford.

  • Mertens, D. M. & Wilson, A. (in press). Program Evaluation. NY: Guilford.

  • Mertens, D. M. (2010). Research and evaluation in education and psychology: Integrating diversity with qual, quant and mixed methods. 3rd ed. Thousand Oaks, CA: Sage.

  • Mertens, D. M. (2009). Transformative research & evaluation. NY: Guilford

  • Mertens, D. M. & Ginsberg, P. (2009).(Eds.) Handbook of Social Research Ethics. Thousand Oaks, CA: Sage.



Donna M. Mertens, Gallaudet University

  • Donna M. Mertens, Gallaudet University

      • Donna.Mertens@Gallaudet.edu