ЧАСТЬ 1.----- 1
Глава 1. Методологические
проблемы вторичного анализа 1
1.1. Определения вторичного анализа в
отечественной литературе------------ 3
1.2. Соотношение понятий "вторичный
анализ" – "вторичное исследование"-------- 8
1.3. Смена концептуальных схем в процессе
проведения комплексного вторичного исследования-------- 15
1.4. Приемы и методы вторичного анализа по
Г.Хьюмену----------- 19
Литература------------- 23
Термин «вторичный анализ» в западной социологии был
введен в научный оборот примерно 30-40 лет назад. Американские исследователи относят возникновение вторичного
анализа к 1957 году, когда в Фонд Форда был представлен доклад о необходимости
финансовой поддержки группы социологов, осуществляющих вторичный анализ данных.
Оценив эффективность и полезность исследований, основанных на повторном
использовании существующих информационных массивов, Фонд Форда после этого стал
регулярно заказывать обзоры по темам, связанным с вторичным анализом. Более
того, в 1957 году в Вильямстоуне было создано самое большое хранилище
исследовательских данных, официально названное «Общим (главным – general?) архивом».
Однако, как отмечает автор книги «Вторичный анализ выборок: принципы, процедуры и перспективы» Г.Хьюмен [ 1 ], это ''движение'' (имеется в виду «вторичный анализ») оставалось в начальной стадии до 60-х годов. Только с конца 60-х стали интенсивно финансироваться и быстро развиваться вторичные исследования и специальные архивы данных, обеспечивающие их надлежащей статистической базой. При этом западные социологи, особенно американцы, в соответствии со своим менталитетом, придали ему вполне конкретный прагматический смысл: под вторичным нализом они понимали возврат к завершенным исследованиям с целью извлечения из них дополнительной, не использованной ранее информации.
Процесс не зря был назван «движением», так как он носил не только научный, но и общественный характер: включал в себя обучение компьютерной социологии в школах, имел определенную ценностную установку, а именно бережное, экономное отношение к информации.
Отечественная социология также откликнулась на возникновение нового типа исследования, хотя и с некоторым опозданием. Первые осознанные упоминания вторичного анализа, как методологического термина, относятся ко второй половине 70-х и началу 80-х годов. В этом сказывается, к сожалению, уже привычное отставание отечественной социологии от западной. Однако следует отметить, что в это время у нас неплохо развивается методическая проблематика «анализ данных», причем данных – любых: первичных, вторичных, статистических и других. И это направление, на наш взгляд, отчасти поглотило проблематику вторичного анализа, помешало ей развиться. Задержалась и компьютеризация науки не только по технико-экономическим, но и политико-идеологическим причинам: условия для свободного доступа к информации у нас появились, как известно, совсем недавно.
В отечественной литературе и в настоящее время сохраняется осторожное отношение к новому термину и близким ему категориям (например, «вторичное исследование», типы вторичного анализа и вторичных исследований и т.д.). Нельзя сказать, что они не употребляются совсем, однако их значение явно недооценивается. Одним из аргументов против вторичного анализа являетсяь мнение, что нет необходимости специально выделять вторичный анализ, так как в любой науке за ним следует череда «анализов» - "третичных", "четвертичных" и т.д., что и составляет в совокупности процесс развития науки, преемственность, накопление знаний.
Действительно,
научный анализ имеет непрерывный характер, то есть знания наслаиваются друг на
друга, образуя прогресс самой науки(?). Вторичный же анализ имеет дело с
"парой" - первичный-вторичный анализ, которая, как это будет показано
позднее, порождает новое, дополнительное методическое содержание в процессе
социологического исследования. Принятый термин "анализ социологических
данных" содержит в себе различные виды анализа и связанные с ними или обслуживающие их процедуры сбора и обработки
данных, а также их содержательной
интерпретации. Там же, видимо, окажется и "вторичный анализ" как
частный, но специфический случай анализа данных, если ему удастся добиться
научного статуса и места в сложившейся ранее системе категорий. Нам
представляется, что процесс принятия нового термина совершается на наших
глазах. И наша задача - способствовать этому процессу, ускорить его.
Приведем определения вторичного
анализа, данные нашими предшественниками.
Наиболее
развернутое определение ВА, а также описание его функций, мы находим в статье М.М.Алхасова "Некоторые проблемы вторичного анализа
данных массовых опросов" (1989). "Под ВА в социологии понимают
стратегию и метод социологического исследования, когда анализу подвергаются
существующие социологические данные для получения знаний в соответствии с
новыми целями и задачами, не стоявшими при сборе этих данных. В отличие от
базового исследования ВА не имеет этапов разработки вопросников, пилотажа,
полевого опроса и сборов документов опроса" [6, c.80].
Его
основные функции, по мнению Алхасова, следующие: "с помощью этого метода можно подвергнуть проверке
результаты, полученные в базовом исследовании; вторичный анализ дает
возможность полнее использовать данные, полученные в ходе первичных
исследований; с помощью вторичного анализа можно узконаправленные исследования
объединять в комплексное многостороннее исследование; вторичный анализ можно
использовать для оценки методического
качества …. исследований и
стандартизации процедур опроса " [там же].
Это определение вполне
может служить в качестве рабочего определения, ибо в нем указаны основные черты
ВА как подхода:
1.
ВА не
предполагает проведения нового самостоятельного, оригинального исследования, не
предполагает осуществления сбора данных, а пользуется старыми массивами
данных, которые собирались под другие
задачи.
2. Однако знание, получаемое в результате вторичного
анализа, должно быть новым, как новыми должны быть цели, задачи и гипотезы
вторичного исследования.
Итак,
старые данные - новые задачи. А что в середине? - В середине "исходная информация преобразуется так,
что в итоге один показатель в разных исследованиях описывается разными индикаторами"
(Ядов, с.235). Выделим главное слово - "исходная информация преобразуется"
с помощью вторичного анализа.
Такое
понимание вторичного анализа свойственно не одному Алхасову М.М. Он обобщил то,
что говорилось до него. Другие авторы, не занимавшиеся этим вопросом
специально, отмечали отдельные признаки вторичного анализа, отнюдь
немаловажные. Поэтому не лишне привести и другие высказывания.
Известные
методологи В.Э.Шляпентох и О.М.Маслова в статье "К вопросу о сопоставимости результатов социологических
исследований" [ 2,1975] употребляют
термин "вторичный" применительно к показателям. "Вторичный"
(показатель) значит "производный", уже подвергнутый обработке,
соотносимый с "первичным", исходным, (показателем), надстраиваемым
над ним. Вторичные показатели - коэффициенты, индексы и другие интегративные
показатели. Они обладают по сравнению с первичными преимуществом с точки зрения
глубины анализа и степени обобщения, и это уже шаг от количественных
характеристик объекта исследования к его более широким характеристикам.
Таким образом, заданы края диапазона мнений - широкий и узкий
смысл термина "вторичный анализ". Широкий, методологический
смысл вторичного анализа близок к статусу общенаучной характеристики всякого
познания, постоянного наращивания знания. Уузкий смысл возвращает нас в лоно
чисто методических проблем эмпирического социологического исследования общего
типа. В интервале помещаются различные аспекты термина.
Видимо, впервые (по крайней мере в
обозреваемой литературе) словосочетание "вторичный анализ"
употребляется в статье М.С.Мацковского
и О.В.Ермаковой "Тенденции изменения тематики исследований по социологии
семьи" [ 3,
1976 ]. "Под вторичной информацией , - пишут авторы,- понимаются
любые новые сведения, извлеченные из первоначальных текстов (книг, статей,
отчетов), которые не были в центре внимания авторов этих текстов. Вторичным анализом
будем называть метод получения вторичной информации".
Упоминание
текстов как источника информации связано с тем, что авторы осуществляли
контент-анализ иностранных каталогов по проблемам семьи. Именно эти
"тексты", а не опросы, служили им источником информации. Обратим
внимание, что это - уже обработанная, в
частности контент-анализом, то есть вторичная, опосредованная информация.
Исследователи ставят еще один вопрос, вопрос об авторстве. Во вторичном анализе
появляется новый признак - смена авторства при переходе от первичного ко
вторичному анализу.
Заметим
также, что, если словосочетание
"вторичные показатели" устойчиво и давно имеет собственную
методическую "нишу", то такие
словосочетания как
"вторичная информация" и "вторичный анализ" обладают
значительной лингвистической и смысловой новизной, особенно для середины 70-х
годов. Позднее они обрастают новыми терминами: информационное поле,
информационная база данных, производство информации, обработка информации и
т.д. Это новый язык не только для науки, но и для общества. Что касается науки,
то Г.Г.Татарова совершенно справедливо предлагает отличать привычный термин
"анализ данных" от нового - "анализа информации". Термин же
"вторичный" содержит в себе ссылку на многоуровневость, усложнение
знания [ 4 ].
Г.И.Саганенко в статье
"Компоненты надежности социологического исследования и проблемы
сравнимости [ 5 ] пишет:
"...Вторичный анализ данных не предполагает специально организованного
(эмпирического - Э.К.)исследования, но использует имеющиеся опубликованные
данные для сравнительного анализа и выявления некоторых параметров и тенденций
развития". Зато предполагается "переход к индексам, шкальным оценкам,
косвенному измерению", "либо повторение пунктов исходной методики,
либо частичная модификация и адаптация методики (в частности, во временных и
международных исследованиях), либо обязательная стандартизация блоков
информации в каждом отечественном исследовании... либо возможный переход к
относительным и производным показателям (индексам) в рамках вторичного
анализа" ( см. с.20-21). В этом высказывании широкое понимание вторичного
анализа дополняется узким методическим подходом, аналогичным подходу
В.Э.Шляпентоха и О.М.Масловой.
Новый оттенок в понимание ВА внес
В.Б.Якубович (1995) в статье "Качественные методы или качество результатов". "Лично я, -
пишет он, - приступая к компьютерной обработке данных, всегда тешу себя
надеждой найти то самое "чуждое" (связь, типологию и т.д.), что не
закладывалось в инструментарий. Если у нас говорить об этом как-то не принято,
то в зарубежной социологии такой прием получил официальный статус
"вторичного анализа" [7,
с.25].
В.Б.Якубовича
волнует проблема обнаружения белых пятен, точек роста в чужом исследовании, не
замеченных его авторами. Он пытается воспользоваться, как правило, всегда имеющейся избыточной информацией,
чтобы расширить границы знания за пределы уже достигнутого. Якубович ведет себя
как нормальный "вторичный аналитик": он ищет "жемчужное
зерно" посредством озарения, а может быть, счастливого случая. Во всяком
случае, по В.Б.Якубовичу, ВА - это не заимствование чужой информации,
не использование готовых данных, но настоящее открытие нового, наиболее тесно
связанное с интуицией ученого. Эта точка зрения наиболее близка западному или
американскому пониманию вторичного анализа. Наиболее ярко ее выразил Г.
Хьюмен(см. 1.3. Процедуры ВА по Г.Хьюмену). - возможна цитата.
К
определению ВА, данному М.М.Алхасовым
(см. в начале параграфа) присоединяется
В.С.Сычева. В статье "Вторичный анализ как метод" [ 8, 1995] она
как бы подводит итог предыдущим высказываниям и приводит перечень
основных признаков ВА. Согласно ей, "ВА", изобретенный в США в 80-е
годы, представляет собой метод "освоения результатов завершенных или ранее
проведенных исследований". "Под ним (ВА) понимают более углубленное
изучение полученных данных с учетом новой исследовательской задачи или в связи
с новыми данными". [8,
c.128].
В.С.Сычева
отмечает очень важный момент: связь
ВА с "завершенными или ранее
проведенными исследованиями", что превращает ВА как бы в
"постисследование" . К нему становятся приложимы и новые термины -
"постанализ", "метаанализ". Появляется новый вариант ВА -
сравнение отдельных исследований между собой с целью проверки достоверности
результатов этих исследований с помощью математических процедур. Главной
функцией постанализа, таким образом, оказывается не получение новых знаний, а
контрольная функция. Вторичный анализ такого типа описан О.В.Ершовой в статье
"Вторичный анализ в социологических исследованиях" [ 9, 1997 ].
К
сожалению, среди упомянутых признаков ВА ничего не говорится о том, что
заимствованная информация редко используется в новом исследовании в
первозданном виде, но постоянно нуждается в преобразованиях. Этот процесс
создания массива данных, адекватного новым исследовательским задачам, мы будем
называть формированием нового "информационного поля". Если же
подобное преобразование почему либо окажется невозможным, то это станет одним
из главных ограничений к применению вторичного анализа.
Итак,
учитывая все вышеизложенные концепции, попробуем сформулировать определение
вторичного анализа в широком смысле этого термина.
Под
вторичным
анализом мы будем понимать совокупность методов и приемов получения
нового знания, характуризующихся следующими признаками:
1. Во-первых,
это методы, которые используются в случае, когда исследователи отказываются от
проведения специально организованного эмпирического исследования, сбора нового
эмпирического материала и довольствуются старой информацией из ранее проведенных
исследований.
2. В
отличие от первичного анализа, вторичный аналитик ставит перед собой новые исследовательские цели и задачи, не
стоявшие при сборе первичных данных.
3. Основным
этапом, отличающим первичный анализ от вторичного является этап формирования "информационного
поля" на базе первичной информации. Именно на этом этапе проявляется
специфика проводимого ВА, дающая основание отнести его к тому или иному типу.
4. И
наконец, как правило, постановка новых исследовательских задач осуществляется
другими авторами, т.е. смена авторства является одним из признаков ВА.
Уже
отмечалось, что термин, появившийся в обиходе западной социологической науки
30-40 лет назад, оказывается до сих пор мало распространенным в нашей стране,
употребляется в отечественной литературе редко и робко. Рассмотренные выше
публикации группируются вокруг следующих дат: 1975-1976 - 1984-1989 - 1995-1996
годов. В остальные годы эта тема вообще не затрагивалась. У нас, конечно, нет
абсолютной уверенности в полноте обозреваемой литературы, но гарантией нам
служат труды Института социологии РАН, бесспорного лидера в вопросах
методологии, и именно его публикации были включены в представленный обзор.
Подчеркнем, что речь идет о публикациях методологического характера. Другое
дело сами вторичные исследования: они не всегда осмысливаются как
"вторичные", но их, на наш взгляд, достаточно много. Некоторые из них
мы будем описывать в тексте.
Было
бы неверно рассматривать ВА изолированно от других социологических понятий и
категорий. На самом деле, вторичный анализ не только вписывается в уже
имеющуюся систему понятий, но и обрастает значительным числом смежных терминов,
что является одним из доказательств перспективности вторичного анализа, того,
что он становится центром притяжения новых современных терминов, связанных с
процессами компьютеризации и информатизации.
В
последнее время с учетом публикаций 80- 90-х годов, на которые мы уже
ссылались, в разработке проблематики вторичного анализа произошли изменения.
Значительно расширился круг признаков и методических проблем ВА, появились
новые категории, смежные понятия, разрабатывается типология исследований,
характеризуемых как "вторичные". Особенно важным является то,
что рядом авторов проведены собственные
эмпирические вторичные исследования. Таким образом, обогащается, как мы
надеемся, и методология и практика вторичного анализа.
В
качестве первой методологической проблемы при рассмотрении соотношения
вышеупомянутых понятий, мы выдвигаем различение "вторичного анализа"
преимущественно как метода и
"вторичного исследования" - понятия близкого, но не
тождественного первому.
Если
вторичный анализ как метод, как научное понятие все еще вызывает недоверие или
неполное признание в качестве сформировавшегося термина, то "вторичное
исследование" как понятие практически не употребляется вовсе. Это
относится даже к самому полному описанию вторичного анализа, сделанному в
отечественной литературе М.М.Алхасовым. В отличие от процитированных выше
ученых, авторы данного текста предлагают другую точку зрения: они не только
признают научный статус вторичного анализа
как самостоятельного метода, но идут дальше – вводят понятие «вторичного
исследования» как особого типа социологического исследования, основанного на
применении вторичного анализа.
Вторичный
анализ - это метод по преимуществу, его специфика - работа с показателями,
формирование информационного поля, на котором позднее будет построено и
проведено новое, вторичное исследование. Но вторичный аналитик вполне может
остановиться на методических проблемах и их решении, т.е. ограничиться
методической частью общего исследования,
это обеспечивает разделение труда внутри социологии. Тем более, что
вторичный анализ в узком смысле слова вообще
ограничивается работой с
вторичными показателями в рамках одного и того же социологического
исследования. Вторичное исследование вырастает из вторичного анализа как метода и не может без него обойтись, так
как именно с помощью вторичного анализа обретает собственное информационное
поле. Вторичное исследование не
ограничивается методическими проблемами построения нового информационного поля:
оно доводит исследование до конца,
проходит через все стадии, такие как
выдвижение новых гипотез, математическая обработка эмпирических
данных, содержательная интерпретация,
хотя все эти этапы находятся под сильным воздействием вторичного анализа как
метода.
Рассмотрим
подробнее соотношение вторичного анализа и вторичных исследований.
Спецификой
проведения вторичного исследования является такая ситуация, когда социологи как
бы отказываются собирать новый эмпирический материал, собирать новую информацию
(ввиду ее изобилия и недоиспользования), в этом смысле отказываются проводить
собственные эмпирические исследования, лишая себя почвы, на которой зиждится
социология как эмпирическая наука. Вместо этого они заимствуют
"чужую" информацию, превращая первичное, исходное, оригинальное,
фундаментальное исследование в "донора информации», а вторичное исследование
обрекают на зависимость от первичного, хотя зависимость эта относительная,
поскольку использование старой информации является только отправной точкой
проведения совершенно нового, самостоятельного и полноценного социологического
исследования.
Но
такая методическая работа вряд ли может быть названа простым
"заимствованием". Гораздо лучше ее особенности выражает другое
понятие - "производство информации". Еще классик мировой социологии
Э.Дюркгейм считал, что "социальный факт" не лежит на поверхности,
более того - его еще нужно создать. Чтобы стать социальным фактом, любое
высказывание, оценка, действие должны подвергнуться такому анализу, которое
освободило бы их от всего индивидуального, индивидуально-психологического,
объективировало их. Эту же мысль любил повторять Б.А.Грушин. Во времена
Таганрогского исследования (устное свидетельство принадлежит А.И.Пригожину),
Б.А.Грушин говорил: "Информацию не собирают как грибы, ее
производят!"
"Производство
информации", хотя и противопоставляется "собиранию грибов", как
нам кажется, включает последнее тоже. Производство информации - более активный
процесс, он присущ любому социологическому исследованию - и первичному, и
вторичному, но его активная методико-методологическая роль во вторичном
исследовании особенно значима - она проистекает, как говорилось, из отсутствия
собственной информации во вторичном исследовании. Приведем дополнительные
аргументы в пользу понимания процессов "производства информации" и
вторичного анализа как метода.
Обратимся к работам А.И.Пригожина.
А.И.Пригожин,
специалист по социологии организации и управленческому консультированию, первым
этапом своего исследования любой организации считает "организационную
диагностику", которая осуществляется следующим образом. Составляется
позиционная карта организации, т.е. выделяются группы по интересам, из которых
отбираются респонденты, в дальнейшем работающие как эксперты.
Главным
из применяемых методов работы с респондентами является интервью, но не обычное
социологическое одноразовое, нередко мало отличающееся от анкетирования, а
"диагностическое", "развивающее", которое требует от
консультанта постоянной высокой активности. Он работает с каждым респондентом,
если нужно, многократно, освобождая его, респондента, от, как сказал бы
Ф.Бэкон, "идолов", или обыденных представлений, предрассудков.
С
помощью интервью происходит сбор информации о проблемах организации. В каждой
организации проводится 20-40 интервью, каждое не менее двух часов. В результате
такой работы рождается список, состоящий из 40-60 проблем организации, причем
сами проблемы и их порядок, т.е. оценка респондентами, сильно отличаются от их
первоначальных оценок,- как правило, высказываний поверхностных, банальных, на
уровне здравого смысла. Составленный с помощью развивающего интервью список
проблем подвергается дальнейшему отбору, например, с помощью метода парных
сравнений и т.д. Таким образом, существует определенная технология работы
(деловые игры в том числе) - от получения первоначальных высказываний о
проблемах организации до принятия по ним решений и воплощения этих решений в
жизнь (в прикладных исследованиях). Эту технологию называют "производством
информации", а также "вторичным анализом".
В
трактовке А.И.Пригожина, мы имеем дело с
определенным специфическим типом вторичного анализа, в котором главным
элементом является формирование, "производство" информационного
поля. В данном случае этот метод
включает в себя по мере надобности и другие специфические по своему основному
предназначению методы вторичного анализа, как например, упоминавшиеся "развивающие
интервью", деловые игры, метод парных сравнений. На любом этапе этого
исследования стратегия вторичного анализа как метода направлена на расширение,
углубление, повышение достоверности исходной информации, необходимой для
принятия решения. ВА при таком
понимании не требует смены авторства в исследовании, тем более, не требует
смены концепции. Напротив, их сохранение является залогом развития некоторой
совокупности идей и получения результата.
Естественно,
не один Пригожин прибегает ко вторичному
анализа как к системе методов, "производство информации" в той или
иной мере свойственно всем исследованиям. Его позиция интересна в данном
контексте как особая позиция, где соединяются: непрерывное формирование
информационного массива на протяжении всего исследования ("производство
информации"), постоянное применение активных методов и их
совершенствование (непрерывность методической работы). Характерна еще одна
особенность данной концепции: чтобы осуществлять вторичный анализ, здесь не требуется
иметь перед собой или работать сразу с двумя исследованиями - первичным и
вторичным. Производство информации формируется здесь же, как "достраивание" методической части
ВА до целостного эмпирического исследования, включающего программу, гипотезы,
цели исследования вплоть до прикладного результата.
Более
детальное знакомство с исследованиями типа А.И.Пригожина показало, что такие
исследования представляют собой
самостоятельный тип вторичного исследования, пренебречь существованием которого
было бы неверным.
Следует остановиться еще на одном варианте использования метода вторичного анализа в рамках одного исследования. Речь идет о случае отнюдь не редком в истории науки, когда исследователь разрабатывает одну и ту же тему на протяжении всей своей творческой жизни, или по крайней мере длительный период. При этом он снова и снова собирает и добирает эмпирический материал, статистику, работает над "производством информации", создает собственный информационный массив, строит динамические ряды и при этом сохраняет концепцию. Такое исследование можно считать растянутым во времени "моноисследованием", где вторичный анализ применяется как метод внутри фактически одного и того же исследования.
В
данном тексте этот случай описан в статье В.Г.Погорецкого "Дифференциация
доходов населения - эволюционирующий вторичный анализ" (см. Часть П) и
касается исследований С.Кузнеца. Этот экономист по профессии изучал
закономерности социальной дифференциации населения тех или иных стран в
зависимости от роста душевого показателя дохода в стране (коэффициент Джини).
Для социологии эта тема крайне важна во все эпохи, поэтому обращение к опыту
С.Кузнеца по вторичному анализу, в котором "развивается", уточняется
коэффициент Джини, вполне уместно в данном социологическом опусе.
С.Кузнец
на протяжении всей жизни совершенствовал методы получения соответствующей
информации, которая изначально страдала неполнотой, пробелами,
разномасштабностью, которые приходилось постоянно преодолевать с помощью
методических приемов. Подобные трудности неизбежны в работе со статистикой. В
случае С.Кузнеца вторичный анализ применяется в контексте
"повторяющегося" анализа, или непрерывного, "перманентного"
анализа. Но простого повторения, как правило, не бывает, происходит
одновременно расширение проблематики, включение одной темы в более широкую
область исследования, где простые показатели становятся рано или поздно
элементами описания более широкой системы.
Итак,
с нашей точки зрения, история применения коэффициента Джини может служить еще
одним специфическим примером вторичного анализа, в котором сохраняются все его
основные признаки. В статье В.Г.Погорецкого такой класс методов проведения
исследований предлагается называть перманентным или эволюционирующим
вторичным анализом.
Теперь перейдем к более подробному
описанию термина «вторичное исследование».
Предлагается
считать "вторичным исследованием" самостоятельное исследование со
своей программой, задачами, гипотезами, с новыми авторами, чьи концепции
отличны от концепций первичного исследования, а может быть, и альтернативны им.
Общим для пары исследований (первичного
и вторичного), точкой пересечения для них оказывается только использование
одного и того же массива исходных эмпирических данных. Причем очень важным является
констатация общности именного исходного эмпирического массива, а не
информационного поля: во вторичном исследовании формируется новое информационное поле,
адекватное новым поставленным задачам и гипотезам. В дальнейшем формируются и
другие элементы вторичного исследования, которые могут сильно отличаться по
сравнению с первичным. Во вторичном исследовании, как правило, происходит смена
авторства, концепции, оно выходит за пределы первичного исследования,
отталкивается от него. Видимо, вторичные аналитики имеют основания по тем или
иным причинам быть неудовлетворенными первичным исследованием и расходятся с
ним в подходах.
Вторичное
исследование - производное от первичного, но совсем не обязательно уступает
первичному исследованию в объеме и важности информации: это вполне полноценное
социологическое исследование, содержащее все основные элементы с их
функциональными нагрузками.
В
качестве иллюстрации к сказанному приведем пример вторичного исследования
проблем досугового поведения населения, проведенного Г.Г.Татаровой на
материалах первичного исследования примерно тех же проблем, осуществленного
В.Д.Патрушевым и его группой. Как
вторичное, исследование Г.Г.Татаровой является в некотором роде эталонным,
иллюстрирующим все основные этапы его проведения: как исследователь она не
разрабатывала новые методики, не собирала новые первичные данные, но
"производила информацию" на "чужом" информационном поле,
применяла такие процедуры, методические приемы (например, перекодирование
анкет), которые позволяли ей фактически получать новую информацию и по-новому
работать с ней. Последнее выразилось в том, что после некоторой новой
математической обработки данных была получена типология досугового поведения
населения [ 10 ].
Как
уже говорилось, "парным" или первичным исследованием, на которое
опиралась Г.Г.Татарова, было исследование В.Д.Патрушева, посвященное бюджетам
времени. Актуальность темы была очень велика, ибо 60-е (хрущевские) годы были
ознаменованы социальными реформами, касающимися продолжительности рабочего
времени. Таких радикальных реформ не было со времен борьбы рабочего класса за
8-часовой рабочий день. Что это означало для трудящихся, понятно: в несколько
этапов (отмена работы в субботу, укороченный рабочий день в пятницу и
предпраздничные дни) продолжительность рабочей недели сократилась с 48 до
41часа в неделю. Время досуга значительно выросло, появился блок времени в
конце недели такого объема, который позволял выезжать на отдых за пределы
города.
Мы,
наша страна, не были в этом начинании первыми: к сожалению, это был очередной
"догон", в частности, Франции, которая в 1936 году, во время
нахождения у власти Народного Фронта, законодательно установила в стране
40-часовую рабочую неделю. Эти перемены сильно повлияли на экономику Франции, в
частности, способствовали развитию такой отрасли, как досуговое обслуживание,
вызвали дачное (коттеджное) строительство, потребовали больших изменений в
средствах перемещения больших масс (автомобилизации населения). Все эти
процессы начались и у нас, но несколько позже и с соответствующей спецификой.
В.Д.Патрушев
правильно оценил перспективность исследований таких важных
социально-экономических процессов, но, видимо, узко понял социальный заказ и
провел слишком частное прикладное исследование по теме "Поведение мужского
населения в условиях изменения сменности на производстве" и получил
слишком ограниченный по значимости научный результат. Г.Г.Татарова участвовала
в исследовании В.Д.Патрушева в качестве программиста, математика, специалиста
по обработке данных.
Видимо,
будучи не удовлетворенной результатами, она провела собственное и классическое
вторичное исследование: выдвинула другие задачи - определение изменений в
досуговом поведении разных социальных групп населения в связи с сокращением
рабочей недели; заново проанализировала всю эмпирическую базу исследования
В.Д.Патрушева; произвела частичную перекодировку анкет, т.е.
"внедрилась" в первичное исследование на одной из наиболее ранних
стадий - первичной обработки эмпирических данных, применила методы
типологизации на более поздних стадиях обработки данных и в итоге получила в
качестве научного результата, как уже говорилось, типологию поведения в досуге
различных социальных групп, что считается теоретически высокой степенью
обобщения материала, уровнем выведения эмпирических закономерностей.
Приведенный
пример интересен не только тем, что соответствует классической схеме, но и тем,
что результат, научный итог вторичного исследования оказался более
значительным, чем итог первичного исследования. Это произошло, главным образом,
за счет избыточной для задач Патрушева информации, за счет перекодировки анкет,
которая выявила скрытые возможности эмпирической базы и расширила их, но также
не в малой степени за счет интуиции исследователя.
Таким
образом, можно уточнить сформулированный выше тезис, касающийся значимости вторичного исследования по
отношению к первичному. Вторичное исследование необязательно проигрывает
первичному в объеме и значимости результатов. Оно необязательно
"дополнительное", менее значимое, но фактически разрабатывает любые
по важности задачи. Как мы только что видели, в первичных данных нередко
содержится такое количество информации, что ее хватает на несколько вполне
солидных исследований.
В
настоящее время получает распространение и становится массовым особый важный
тип вторичного исследования, который
называется "мониторинговым". Он получил широкое признание и
распространение благодаря созданию в стране специальных служб, обеспечивающих
квалифицированный сбор социологической информации. В распоряжении вторичного
аналитика постоянно находится информация, частично уже обработанная и
представленная в виде таблиц сопряженностей, к тому же она постоянно
пролонгируется. Таким образом, вторичный аналитик даже не формирует
информационное поле, а получает его готовым. Центр тяжести работы исследователя
смещается на выдвижение новых содержательных задач и гипотез, подбор к ним
математического аппарата, математическую обработку эмпирического материала и
его последующую содержательную интерпретацию. Этот способ пользования
"чужой" информацией со смещением на вторую половину исследования
заметно повышает его эффективность и позволяет на одном эмпирическом материале,
или информационном поле, проводить не
одно, а по крайней мере несколько конкретных вторичных исследований, в чем
можно убедиться, просмотрев статьи В.П.Горяинова во второй части данного текста.
Как было сказано выше, "вторичный анализ - это
метод по преимуществу, его специфика - работа с показателями, формирование
информационного поля, на котором позднее будет построено и проведено новое,
вторичное исследование".
Нам представляется, что могут иметь методологический
интерес некоторые наблюдения и обобщения, вынесенные автором из личного опыта проведения девяти вторичных
исследований, представленные во второй
части данной книги. Эти наблюдения касаются необходимости генерирования и смены
концептуальных схем при проведении
вторичного исследования, ориентированного на наиболее полное использование
исходных данных, с целью выжить из них максимум полезной информации.
В работе
Сычевой В.С.[11] представлены основные возможности и условия проведения
вторичного анализа, но возможно дополнить их двумя.
Рассмотрим
довольно типичные для исследовательской практики случаи анализа данных.
Первый типичный случай заключается в том, что
исследователи после проведения первичного анализа и решения поставленных ими
задач не интересовались возможностями дополнительного анализа, хотя ясно
отдавали себе отчет в широких возможностях по его дальнейшему анализу в
различных разрезах и другими методами, с помощью иных подходов. Таким образом,
в этом случае завершенный по своим целевым установкам первичный анализ
оказывается по сути не до конца завершенным и его с успехом могут продолжить
другие исследователи с помощью вторичного анализа, при котором сохраняются основные целевые,
методологические и познавательные установки исходного исследования. Такого
рода исследования с интенсификацией направленности исходного исследования
предлагается, как было предложено выше, называть традиционно "вторичным
анализом". Примером такого рода исследования может служить и наше
исследование, представленное во второй части, в разделе 2. , в котором по сути
дела как бы продолжается исследование И.М.Клямкина [12] по раскрытию глубинного смысла ценностей для
различных социально-профессиональных групп российского общества.
Второй случай заключается в том, что исследователи
смогли провести первичный и, возможно, даже вторичный анализ данных по всем
имеющимся разрезам и с помощью имеющихся в их распоряжении современных методов
обработки данных, однако при этом принципиально всегда существует побочный
продукт в результатах их деятельности, который они сами не замечают, и который
легче замечает сторонний исследователь, имеющий иные целевые, методологические
и познавательные установки. В этом случае в сознании исследователя срабатывает
механизм творчества, представленный в концепции Я.А.Пономарева[13], основанный
на реализации побочного продукта деятельности как основного элемента
интуитивных решений. Решения необязательно должны быть сверхоригинальными или
гениальными, но безусловно должны быть конструктивными, познавательно и
практически значимыми. Это, пожалуй, наиболее интересный случай, когда в
процессе ознакомления с результатами исследования или проведения вторичного
анализа у исследователя возникает озарение, или осенение, или инсайт,
радикально изменяющий точку зрения на результаты исходного исследования,
порождающий новые целевые, методологические и познавательные установки,
ориентирующие его на проведение совершенно другого, чем исходное исследование.
Исходя из сказанного, этот признак исследования, заключающийся в доминировани
экстенсивной, креативной направленности уместно включить в число существенных
признаков определения "вторичного исследования", данного выше. Мне
представляется, что к этому же случаю можно также отнести механизм
ременисценции, обеспечивающий новаторский перенос знаний из одной предметной
области в другую.
Примерами вторичных исследований могут служить
представленные во второй части исследования, посвященные выявлению эмпирической
дихотомической стратификаций социальных групп надгрупп «высших» и «низших»
(раздел 1.); иерархической стратификации (раздел 3) и выявляемой с помощью
многофакторного анализа стратификация социальных групп на этатистов
(государственников) и рыночников (либералов) (раздел 4). В указанных
исследованиях инсайтом была простая мысль о возможности типологизировать
(дифференцировать или интегрировать по различным признакам и факторам) 12
исследованных социальных групп, тогда как считалось, что типологизацию можно проводить по различным признакам,
присущим респондентам.
Другая группа исследований была посвящена анализу
консолидаций и деконсолидаций социальных групп и связанному с ними по смыслу
феномену – ценностной рефлексивной солидарности. Эта группа исследований
представлена в разделах 5, 6 и 8. Здесь
инсайтом, по нашему мнению, была идея различать стихийно сложившиеся групповые
общности – страты и потенциально возможные, только становящиеся объединения
групп – консолидации. В последних был зафиксирован повышенный уровень
ценностной рефлексивной солидарности.
Инсайтом, который можно также назвать просто
воспоминанием, была идея использовать рефлексивный подход к анализу ценностных
ориентаций. Эта идея была реализована в группе исследований, (раздел 6 и 7.).
Она позволила определить эмпирически ведущую в обществе по ценностным
ориентациям социальную группу как
своеобразного рефлексиного лидера и поддерживаемые им ценностные ориентации и
определить способность и направленность нашего общества к саморазвитию и
самоуправлению и возможные негативные моменты на этом пути (раздел 7.).
Наконец, последнее исследование (раздел 9.)
базировалось на инсайте о нескольких способах, какими можно эмпирически
систематизировать или расклассифицировать 59 ценностных ориентаций, которые
предъявлялись респондентам в качестве материала в опросниках.
Средством повышения экстенсивности и креативности
исследования служили различные
методические средства, например, способы визуализации данных, параметрический и
дисперсионный анализ и другие статистические методы обработки данных.
В принципе, возможно на основании продуктивного
инсайта, в результате которого выдвигается идея нового методологического
подхода, проводить "третичные" и тому подобные исследования, а в
рамках каждого выдвинутого подхода проводить свой вторичный анализ.
Таким образом, в качестве основания для различения
понятий "вторичного анализа" и "вторичного исследования"
нами предлагается психологическое основание - наличие продуктивного озарения,
или осенения, или инсайта, радикально изменяющего познавательные, целевые и
методологические установки во вторичном исследовании - и отсутствие такового во
вторичном анализе. В свою очередь, продуктивные озарения, осенения и инсайты
приводят исследователя к необходимости смены концептуальных схем исследования и
его единиц анализа. Именно такие случаи
вторичных исследований были представлены во второй части, в главе Назови,
разделы 1-9. Проведенный комплекс исследований позволил предпринять попытку
решить методологическую задачу - отрефлектировать методологическую составляющую
данного вторичного исследования и сформулировать ее в виде гипотезы о следующих
этапах проведения вторичного исследования.
1. Определение, к какому типу относится будущее
исследование из следующих двух:
а) вторичный анализ, в основном продолжающий
реализацию целевых, методологических и познавательных установок исходного
исследования;
б) вторичное исследование, радикально изменяющее
замысел исходного исследования, его целевые, методологические и познавательные
установки.
Указанными типами исследования во многом
предопределяется: содержание и процесс; новизна, самостоятельность и
оригинальность; глубина вторичной переработки исходных первичных данных;
использование исходной концептуальной основы или заимствование другой, кем-то
ранее разработанной, или творческое создание новой рабочей концепции в самом
процессе исследования. Если исследователь определяет на основе указанных
признаков, что ему предстоит работа над вторичным исследованием, то он
переходит к следующему этапу исследования.
2. Постепенное уточнение в процессе самого
исследования конкретных, познавательных, целевых и методологических установок
вторичного исследования, выявление результатов продуктивных озарений, или
инсайтов и их общей направленности, например,
на:
·
агрегирование
исходных данных (получение обобщенных моделей) или, наоборот, детализацию и
уточнение исходных данных в новом узком разрезе (получение частных моделей);
·
выявление новых качественных свойств и
функций исследуемых элементов;
·
выявление новых количественных отношений
исследуемых элементов;
·
диагностику
(составление описательной модели);
·
прогноз
состояния исследуемых элементов;
·
разработку социотехнических рекомендаций.
3. Преобразование исходных данных и их
дополнительная статистическая обработка в соответствии с требованиями иных, чем
у исходного исследования, познавательных, целевых и методологических установок
следующими методами: математические операции; преобразования
(транспонирование); перекодирование; классификация (ранжирование,
группирование); типологизация; статистический анализ (дисперсионный, факторный,
кластерный, детерминантный); визуализация результатов исследования.
4. Содержательная интерпретация полученных новых
данных, разработка частных или обобщенных моделей, классификаций, типологий,
диагнозов, прогнозов, возможных направлений социотехнического воздействия.
Второй, третий и четвертый этапы часто осуществляются
параллельно-последовательно.
Рассмотрим
более подробно одну из наиболее известных зарубежных публикаций по вторичному
анализу - книгу Герберта Хьюмена "Вторичный анализ и примеры исследований:
принципы, процедуры и возможности "
Проблема
методического обеспечения вторичного анализа, разработки приемов и процедур,
используемых в нем ради получения дополнительной информации, может считаться
одновременно и самой главной, и самой трудной. Самой главной потому, что именно
здесь содержится ответ на вопрос, как добиться искомого результата. Самой
трудной потому, что специальных приемов получения дополнительного знания, как
считают некоторые авторы, в том числе и американские исследователи, не
существует. Часто во вторичных исследованиях используются методы, приемы и
процедуры, присущие и первичным, и вторичным исследованиям одновременно. Это
происходит потому, что ВА - один из уровней в иерархии уровней эмпирического
социологического знания, который следует сразу за первичным уровнем и в
принципе, мало чем отличается от него. Г.Хьюмен - один из тех немногочисленных
ученых, которые признают, что приемов,
специфичных только для вторичного анализа,
по меньшей мере мало. В своей книге [1,
с.5]
он пишет: "К несчастью, не существует систематического, четкого
определения принципов и процедур вторичного анализа". В работе он
формулирует только общие попытки выявления тех общих свойств, которые присущи
принципам и процедурам, используемым во вторичном анализе. В книге он не
приводит окончательных определений и устоявшейся терминологии, а наоборот,
рассматривает более широкий круг понятий, казалось бы стоящих где-то поблизости
от сущностных проблем вторичного анализа. Целые главы книги посвящены описанию
измерительных процедур, случаев значительного расширения количества
осуществляемых наблюдений при реализации вторичного исследования, примеров
расширения интеллектуального горизонта за счет погружения в забытые проблемы
прошлого, с которым во многом имеет дело вторичный анализ.
Однако поиск процедур, максимально приспособленных,
или соответствующих вторичному анализу,
не безнадежен. Если попытаться систематизировать то, что удалось сделать
самому Хьюмену относительно описания и разработки процедур вторичного анализа, то может получиться
перечень
методических (методологических) приемов, который включает в себя
некоторые важные характеристики исследуемой проблемы.
Напомним,
что вторичный анализ всегда связан с поисками "точек роста"
дополнительного знания, не замеченных первичными исследователями, но
обнаруженных позднее вторичными аналитиками. Последние постоянно озабочены сбором крупиц нового
знания, для этого они должны иметь развитую профессиональную интуицию и
постоянно быть начеку. Как пишет Г.Хьюмен, для них характерны
"охота", "выслеживание", "выуживание", даже
"выглядывание" возможностей ВА и роста информации [1, с.64]. Здесь решающую роль может сыграть само
по себе увеличение числа наблюдений.
С
методологической точки зрения в этих условиях следует отметить возрастающую
роль "случая"
для вторичного анализа - случая, как удачи в поиске, и случая, как типа
поискового исследования - кейс-стади
(case ctady). И хотя случай фиксирует как бы необязательные, несущественные
связи, фактически его роль во ВА может оказаться немалой. Вторичные аналитики,
отмечает Хьюмен, чаще описывают не сами процедуры, а именно "случаи"
вторичного анализа, показанные "в живом действии" и "искусно
применяемые исследователями". Такая "случайная" форма знания
(форма знания, основанная на анализе случая), где общее не отделяется от
особенного, а форма от содержания, в принципе свойственна эмпирическому уровню
познания, еще не отягощенному рациональными формами знания, к нему-то ВА и
принадлежит.
Анализируя
процесс "добывания" информации с помощью ВА, Г.Хьюмен вводит понятия
"старого" и "нового" в анализируемой информации , с которой
имеет дело вторичный аналитик. Причем "старое" необязательно
совпадает с первичным исследованием, а "новое" - с вторичным. Речь
идет, скорее, просто о временной последовательности поступления информации в
каждом отдельном случае. Но сочетание различных элементов информации создает
большое разнообразие вариантов ее соединения в исследовании и даже возможность
некоторого упорядочения этого разнообразия.
"Старыми"
и "новыми" могут быть практически любые по характеру исследования.
Так, "старое" может быть и обычным первичным исследованием, и
"обзором", т.е. фактически вторичным исследованием, и кейс-стади, и просто
случайной, настораживающей информацией, связанной с обнаружением необычных
цифр, необычного поведения проблемных групп, что затем может привести к
"открытиям" и т.д. "Новое" также может быть различным по
содержанию исследованием или просто наблюдением. Их сочетания могут
образовывать некоторую типологию
вторичных исследований, образованную по признакам характера исходной для ВА
информации и времени ее поступления.
Формализуя
(несколько больше, чем это сделал сам Хьюмен) эти "сочетания", можно
получить следующие возможные варианты вторичных исследований:
-
"новое" первичное (независимое)
исследование соединяется с исходным, "старым" также независимым
исследованием; сочетание "первичное" - "первичное"
исследование - это как бы классическое сочетание;
-
старые и новые случайные данные подвергаются
сопоставительному анализу в целях их обобщения или контроля за качеством ("случай" - "случай");
-
анализируются два разных кейс-стади,
осуществленных в разное же время;
-
"старое" исследование, само
представляющее собой вторичное исследование ("обзор"), сопоставляется
с еще одним вторичным же исследованием, в результате чего, один, "более
поздний" вторичный аналитик строит свою работу на основе исследования
другого, "более раннего" вторичного аналитика; это довольно сложный
случай иерархизации ВА.
Мы
привели случаи ВА, когда обе его части являются однородными друг
относительно друга, но, естественно,
возможны и другие перекрестные сочетания, например, типа - "старое"
первичное исследование дополняется исследованием типа кейс-стади или старое
вторичное исследование дополняется случайной, единичной, но важной информацией, которая в
известной мере позволяет закрыть "белые пятна" предшествующего
исследования и стимулирует новое исследование.
Г.
Хьюмен приводит довольно много
примеров, иллюстрирующих различные типы
исследований; приведем лишь некоторые из них.
Так,
Н.Чемберлен и Ж.Шиллинг (N.Chamberlain, J.Schilling) сделали несколько обзоров
массовых опросов за 1935-1950 годы по поводу стачечного движения, его пользы и
управления этим движением. А в 1953 году эти старые обзоры они дополнили
опросами "знающих информантов" - репортеров, специализирующихся на
проблемах труда, представителей профсоюзов, менеджеров из сферы промышленности
и т.д. Эти опросы также были обобщены за период 1954-1965 годы [ 1, р.64]. В результате получили
исследование, иллюстрирующее тот случай, когда
два вторичных разновременных и независимых исследования (впрочем,
связанных общей темой), надстраиваются, образуя сложные структуры роста знания.
Другой
пример. Изучались религиозные проблемы, возникающие среди жителей Детройда
(1961). Однако репрезентативность групп-резидентов по религиозным признакам
оказалась неудовлетворительной: на 700 опрошенных пришлось только 27 евреев и
100 негров-протестантов. Тогда автор этого исследования Г.Ленски (G.Lenski)
обратился к своим же исследованиям 1951-1957 годов, и хотя восстановлены были
не все группы резидентов, все же многие пробелы были заполнены, а исследование 1961 года получило
"новые" статистические данные и дополнительное подтверждение за счет
более ранней информации. Интересно, что в этом примере первичным считается
более позднее исследование, а роль "старых" элементов исследования
оказалась дополняющей и сводилась к сумме отдельных информационных блоков.
Приведенный
выше набор вариантов вторичных исследований
и диапазон приемов, используемых при их проведении, является далеко не
полным и, скорее, лишь описывает принципы построения структуры вторичных
исследований. Но описание этих вариантов или случаев очень полезно тем, что, с
одной стороны, позволяет проводить поиск специфических процедур ВА
последовательно и с необходимой полнотой по предложенной выше схеме, а с другой
стороны, сами по существу представляют собой перечень различных процедур, или
способов, с помощью которых из отдельных, различных, пестрых элементов
происходит образование новых вторичных исследований. Объективно здесь, как
видно, существует ничем не ограниченное многообразие "старых" и
"новых" элементов и "старых" и "новых" исследований.
Ограничением, как уже говорилось, оказывается только развитие профессиональных
качеств вторичного аналитика, таких, как наблюдательность, интуиция, знание
предмета, образованность, теоретическая подготовка, все вместе составляющие
искусство исследователя.
Заслуживают
внимания мысли Г.Хьюмена о математике в современной социологии. Собранный во
вторичном исследовании эмпирический материал подвергается количественному
анализу всеми известными на данный момент способами математики. Г.Хьюмен считает,
что вторичный количественный анализ ничем не отличается от первичного
количественного анализа - "количественные операции в обоих случаях
одинаковы" [1, с.73]. К ним он относит, помимо общей
обработки вопросов и индексов, анализ индексов по подгруппам респондентов,
перекрестное табулирование, комплексные разработки данных, включающие три и
более переменных величины, корреляции и параметры ассоциаций, тестирование на
значимость, стандартизация данных и регрессионный анализ.
Значение,
которое придается математическим процедурам количественного анализа, делает
понятным особенности терминологии Хьюмена. Дело в том, что он постоянно
употребляет термины "вторичный полуанализ" и "полувторичный
анализ", даже выносит их в название глав книги. Со стороны термины кажутся
тавтологичными и просто непонятными. Впрочем, постепенно выясняется, что
вторичный "полуанализ", согласно Хьюмену, - это незавершенный,
фрагментарный в математическом смысле анализ данных первичного исследования. Полный же анализ (и первичных и вторичных
данных) должен обеспечить объективный , математически точный отбор данных,
контролирующий первичное исследование на возможность ошибок. Только прошедшее
через математическую проверку исследование вправе претендовать на название
"законченного" (1,гл.Ш..). Это неплохое свидетельство того, что к
количественному анализу внутри вторичных исследований и между ними
предъявляются достаточно высокие требования.
Подведем
итоги главы 1.
.
. .. . . . . .
.
. . . . . . . .
.
. . . . . . .
1.Herbert
H. Hyman. Secondary Analysis of Sample Surveys: Principles, Procedures
and Potentialities, 1972, New York - London - Sydney - Toronto.
2. В.Э.Шляпентох, О.М.Маслова. К вопросу о
сопоставимости результатов социологических исследований.СОЦИС, 1975, N3.
3. М.С.Мацковский, О.В.Ермакова. Тенденции
изменения тематики исследований по социологии семьи . СОЦИС,1976, N 4.
4. Г.Г.Татарова. Методология анализа
данных в социологии. М., Стратегия, 1998.
5.
Г.И.Саганенко. Компоненты надежности социологического исследования и проблема
сравнимости. В: "Сравнительный анализ и качество эмпирических
социологических данных". М., 1984.
6. М.М.Алхасов. Некоторые проблемы
вторичного анализа данных массовых опросов. В: "Сравнительный анализ и
качество эмпирических социологических данных ". М., ИСИ АН СССР, 1989.
7. В.Б.Якубович. Качественные методы или
качество результатов. "Социология": 4М, 1995, N 5-6.
8.
В.С.Сычева. Вторичный анализ как метод. В: СОЦИС, 1995, N 11.
9.
О.В.Ершова. Вторичный анализ в социологических исследованиях. В сб.:
"Государственное регулирование экономики и социальные проблемы
модернизации", ч.П. УРСС, М., 1997.
10.
Г.Г.Татарова. Типологический анализ в социологии. М., Наука, 1993.
11. Сычева В.С. Метод
вторичного анализа// Социс,№11, 1995.
12. Клямкин И.М. Советское и
западное: возможен ли синтез?// "Полис", №4, 1994.
13. Пономарев Я.А.
Психология творчества. М. 1976.