4. 2. Оценивание

4.2.1. Определение термина...

Термин «Evaluation» (рус. «оценка», здесь - «оценка программ») произошел от латинского слова «valor», т.е. «ценность» и префикса «e/ex», т.е. «из» и означает «оценивание», «извлечение из чего-то ценности». В широком смысле слова этот термин описывает «процесс определения ценности продукта, процесса или программы, для чего не обязательно необходим систематический метод или же не подлежащие оглашению доказательства для обоснования оценки». Согласно этой интерпретации каждый взгляд утром из окна для определения погоды уже является оценкой.

Кэрол Вайсс (Carol Weiss, 1974:19) в своей основополагающей работе указала на то, что оценка это «многозначное слово», под которым могут подразумеваться различные виды суждений о чем-либо. И 30 лет спустя это практически не изменилось. Слово «оценка» (англ. «evaluation») употребляется все чаще и описывает самые различные процессы. Оно означает не только особый вид получения информации и ее анализа, но и результат этого процесса. В научном контексте – и в этом отличие от использования этого термина в повседневной деятельности – используются эмпирические методы получения информации и систематические подходы к ее оцениванию на основании понятных критериев, которые позволяют проверить правильность оценки другими лицами. Общепризнанные социологические определения «оценки» подчеркивают ярко выраженный характер использования научно-исследовательских методов и под «научными исследованиями в области «оценки» понимают «систематическое применение социологических научно-исследовательских методов для оценки концепций, формы, воплощения и пользы социальных интервенционных программ». Таким образом, научные оценки отличаются от повседневных исключительно использованием эмпирических исследовательских методов и поддержанием определенного научного стандарта. Это отличие относится не только к социологическим темам: в отличие от собственного суждения по поводу погодных условий, мнение метеорологов основывается на научных анализах и использовании соответствующей стандартизированной измерительной аппаратуры. Это не всегда означает, что прогноз метеорологов будет точнее, чем собственная оценка. Однако, научное обоснование прогноза открывает критерии оценки и, благодаря этому, логическая цепочка оценки становится понятной для других лиц. Научные оценки, таким образом, вносят важный вклад в конкретизацию дискуссий и делают процесс составления суждений о чем-либо более объективным.

В отличие от научных исследований оценки не яляются самоцелью. Они производятся не из-за чистого интереса познания, а для того, чтобы извлекать из них пользу. Они предназначены для того, чтобы делать процессы прозрачными, документировать влияния и раскрывать взаимосвязи, чтобы в конечном результате принимать решения. К примеру, для того, чтобы повысить эффективность процессов, более эффективно использовать вложенные средства, повысить производительность, оказывать большее воздействие, обеспечить стабильность и т.д. Таким образом, оценки могут внести свой вклад в улучшение качества программы, мероприятия или же предоставляемой услуги. Оценочные критерии могут быть самыми различными. Очень часто они ориентированы на определение того, какую пользу приносят тот или иной объект, положение дел или же процесс развития определенным лицам или группам. Их могут устанавливать заказчик оценки, целевая группа, участвующие заинтересованные группы, сам специалист по оценке или же все вместе. Очевидно то, что в зависимости от выбора критериев результаты оценки пользы могут быть самыми различными. При этом важно не только то, кто устанавливает критерии оценки, но и то,


4.2.2. Историческое развитие

Истоки научных оценок в США можно проследить до восемнадцатого века, когда федеральное правительство впервые поручило внештатным инспекторам оценить общественные программы. Государственными учреждениями, прошедшими тогда оценку, были детские дома, школы, больницы и тюрьмы. Первый период расширения сферы проведения оценок в США приходится на тридцатые и сороковые годы. В рамках «Новых Соглашений» („New Deal“) программы реформ, призванные сократить безработицу и повысить социальную стабильность, сопровождались оценочными исследованиями. Большинство авторов, однако, придерживаются мнения, что лишь в начале шестидесятых годов начали проводится профессиональные оценки, так как в результате обширных государственных социальных, образовательных и здравоохранительных программ, а также программ по улучшению питания и роста инфраструктуры не только скачкообразно повысилось количество оценочных исследований, но и начался процесс институционализации. В 1986 году произошло объединение двух небольших союзов оценки в American Evaluation Association (АЕА – Американская Ассоциация Оценки), который на сегодняшний день насчитывает более 3000 членов.

Целью этой организации является усовершенствование методов оценки и их практического применения, а также поддержка общественных научных исследований в сфере оценки. В отличие от США, в Европе профессионализация исследований в сфере оценки началась с десятилетним опозданием в конце шестидесятых годов. В авантгарде этого развития находились Швеция, Великобритания и Федеративная Республика Германия.  Как и в США, сначала оценка использовалась в первую очередь для доказательства эффективности программ в политике образования, здравоохранения и социальной сфере, в конце же семидесятых годов приоритетными стали вопросы соотношения стоимости и пользы. В отличие от США, развитие научных исследований в области оценки затормозилось вследствие сокращений в государственном бюджете. Всяческие попытки институционализации проваливались. Лишь в начале 90-х годов в научных исследованиях в сфере оценки обозначился новый подъем. С середины 90-х годов все в большем количестве стран и на европейском уровне стали открываться общества оценки (напр., в 1997 году - Немецкое Общество Оценки - die Deutsche Gesellschaft für Evaluation). На сегодняшний день общества оценки существуют в Бельгии, Германии, Финляндии, Франции, Великобритании, Италии, Голландии, Швеции и Швейцарии. В других странах (напр. в Австрии и Испании) начали действовать похожие инициативы. Несмотря на большое отставание в развитии можно уверенно заявить, что и в Западной Европе научные исследования в сфере оценки приобрели устойчивость и быстро расширяются в настоящее время.


4.2.3. Цели оценки

В-общем, проведение оценки может быть направлено на достижение четырех взаимосвязанных целей:

(1) получение информации

(2) осуществление контроля

(3) обеспечение прозрачности для того, чтобы сделать возможным диалог

(4) документация успехов (легализация).
  1. Оценки должны предоставить информацию, которая принесет пользу заказчикам и целевым группам программ. Так их может интересовать, функционирует ли программа без осложнений, какие потребности существуют у целевой группы, доходят ли мероприятия до целевой группы, насколько принимается та или иная программа, в состоянии ли организации, проводящие программы, эффективно и рентабельно их воплощать, как изменились рамочные условия, как это повлияло на ход программы или же на достижение целей и результаты программы, какой вклад делает программа для решения названной проблемы, действительны ли наблюдаемые изменения, связанные с программой или же с другими факторами и др.
    Целью сбора информации является оптимизация решений руководства. Информация, предоставляемая специалистами по оценке, и их суждения не обязательно совпадают с оценкой лиц, осуществляющих программу или же целевых групп, оценки которых тоже могут друг от друга отличаться.

  2. Как правило, при оценке программы на первом месте стоит стремление получить информацию для того, чтобы иметь возможность принимать руководящие решения, например, быстро суметь устранить имеющиеся дефициты. Одновременно оценка показывает, все ли участники программы выполняют свои задачи и свой долг, обладают ли они достаточной квалификацией и компетенцией и т.д. С каждой оценкой прямо или косвенно связана определенная форма контроля.

  3. Оценки предоставляют шанс для прозрачности в диалоге. Если результаты оценки будут раскрыты, то это будет способствовать диалогу между различными деятелями (инвесторами, осуществляющими программу организацией, целевыми группами и иными участниками или лицами).
    На основе полученных результатов можно совместно и понятно для всех подвести баланс того, насколько успешно протекает сотрудничество, в чем самые большие успехи, а в чем дефициты, чтобы принять решения по поводу будущего сотрудничества. Каждая оценка предоставляет возможность для совместного обучения.

  4. База данных, полученная с помощью оценки, дает возможность наглядно доказать, какой вклад привел к каким результатам и какому эффекту и предоставляет, таким образом, информацию о рентабельности программы.

Оценки дают информацию, которой может воспользоваться менеджмент программы для принятия решений. Таким образом, они могут внести свой вклад в оптимизацию качества программ и мероприятий или же в повышение качества продуктов или услуг. При оценках по окончании программ (Ex-post) можно, кроме того, проверить продолжительность действия программного эффекта. Таким образом, инвесторы и организации, проводящие программы, могут подтвердить, насколько эффективно они использовали финансовые средства, насколько действенны были их проекты и программы и предоставить доказательства своей полезности. К сожалению, часто результаты оценок используются внутри самой организации и не используются для подтверждения правомерности своей работы.


4.2.4. Задачи оценки

С помощью оценок заказчики могут не только преследовать различные цели, но и совмещать с ними различные постановки задач.
Оценки могут использоваться для того, чтобы:

В зависимости от этого, оценки могут быть задуманы более формирующими, т.е. активно придающими форму, ориентированными на процессы, конструктивными или же способствующими коммуникации или же более обобщающими, подводящими итоги и нацеленными на результат.

В принципе, оба подхода оценки могут использоваться во всех фазах программы. Однако, так как в фазе планирования и работы над формой программы практически отсутствуют ориентиры для обобщающей оценки, при ее проведении она может иметь лишь формирующий характер. Во время фазы проведения программы возможны как формирующие, так и обобщающие оценки. Анализы «Ex-post», как правило, – обобщающие оценки, так как формирующий аспект отпадает.

Кроме оценок «ex-ante», в которых еще проверяются условия для проведения программы или интервенционного мероприятия, оценки могут выполнять следующие задачи:

  1. Их могут использовать для того, чтобы наблюдать за процессами развития. При этом речь идет об идентификации проблемы, возникнувшей в ходе осуществления программы и определить, придерживается ли программа запланированных сроков. Необходимо выяснить, будут ли одобрены меры заинтересованными сторонами, какие конфликты интересов возникают, достаточно ли имеется квалифицированного персонала для осуществления мер, как функционирует коммуникация и координация органов, проводящих программу между собой и с целевыми группами, достаточно ли технического и финансового обеспечения для достижения цели, приводят ли введенные в программу инновации к достижению цели и т.д.
  2. Проверка достижения цели производится, как правило, с помощью установленных в планировании показателей, поэтому эта задача оценки и носит название - сравнение планового задания с его фактическим выполнением или «дебета с кредитом». Она четко ориентируется на намеченные цели.

    При этом, однако, может возникнуть множество проблем. Часто можно наблюдать, что

    • цели сформулированы слишком расплывчато и обобщенно,
    • документация поставленных целей не совпадает с целями, к которым на самом деле стремятся  (легитимационная риторика),
    • со временем цели изменяются,
    • осуществляющие программу лица преследуют различные цели.

  3. Как правило, оценка не исчерпывается простой постановкой планового задания с его фактическим выполнением, а заинтересована еще и в получении информации о как можно большем количестве воздействий (а в идеальном варианте - обо всех воздействиях), оказанных программой или же интервенционной мерой.
    Здесь речь идет о том, чтобы получить информацию не только о намеренно вызванных эффектах, но и о тех, которые не были намеренными, и которые могут либо способствовать либо препятствовать достижению цели. Лишь подведя сводный баланс всех воздейтсвий можно определить, преобладают ли позитивные или негативные влияния программы.
  4. Оценки должны не только установить, «идет ли процесс в запланированном направлении» (наблюдение процесса) и можно ли ожидать, что цели будут достигнуты в запланированном объеме, с помощью предусмотренных материальных и штатных ресурсов за установленный период времени, но и то, «правильны ли совершаемые действия». Таким образом, оценки ставят под вопрос сами цели программы или мероприятия.  Необходимо проверить, в состоянии ли эти программы вообще предоставить значимые  услуги развития или инновации или же желательно выбрать совсем иной путь.
  5. Конечно же, недостаточно определить воздействия и оценить их вклад в развитие. Центральным является вопрос, являются ли наблюдаемые запланированные и незапланированные воздействия вообще результатом программы или же за них отвечают иные, не связанные с программой факторы. При этом решение проблемы каузальности – одна из самых сложных задач оценки.


4.2.5. Внутренние (штатные) и внешние (внештатные) оценки

Принципиально оценки можно разделить на внутренние и внешние. Внутренней называют оценку, которая проводится той же организацией, осуществляющей программу. Преимуществом такой оценки является то, что ее можно провести быстро и с незначительными затратами, так как проводящие оценку лица обычно обладают глубокими познаниями материи и кроме того, результаты оценки можно быстро воплотить на практике. Недостатками внутренних оценок чаще всего называют то, что проводящие оценку лица в большинстве случаев не обладают достаточной методической компетенцией, что им не хватает независимости и дистанции и что они бывают настолько «втянуты» в программу, что они не в состоянии увидеть лучшие альтернативы.

Внешние же оценки проводятся лицами, не являющимися ни инвесторами, ни членами организации, осуществляющей проект. Как правило, внештатные специалисты по оценке отличаются поэтому большей независимостью, высокой методической компетенцией и профессиональными знаниями в сфере оценки, а также в специализированной области программы. Кроме того, оценки внештатных специалистов могут придать реформирующим силам внутри организации большую легитимность и большее влияние, необходимые для начала процессов изменений. С другой стороны, оценки внештатных специалистов могут вызвать у оцениваемых сотрудников чувство страха, которое вызовет защитную реакцию, что может привести к проблемам при воплощении результатов оценок в будущем. Оценки внештатных специалистов, конечно, связаны с дополнительными расходами. Это, однако, не означает, что оценки внештатных специалистов всегда обходятся дороже, чем оценки, проведенные членами самой организации или программы. Если подсчитать, во сколько обходится занимающийся оценкой штатный персонал и сравнить эти расходы со стоимостью оценки внештатных специалистов, то большой разницы между внешней и внутренней оценкой можно и не обнаружить.