نگرشي در مباني نظري طرح ارزشيابي توصيفي
محمد حسن محقق معين
11 دي 1382
مقدمه
وجه مميزه طرح ارزشيابي توصيفي از ساير طرح هاي ارزشيابي تحصيلي ، تاكيد اين طرح بر استفاده از مقياس هاي كيفي (qualitative scales)در سنجش پيشرفت تحصيلي دانش آموزان است. ارزشيابي توصيفي كه تركيبي از دو واژه "ارزشيابي " و "توصيفي" است؛ يك اصطلاح علمي نيست كه به دنبال آن در فرهنگ هاي علوم تربيتي بگرديم!! اين تركيب نامي است كه براي ناميدن و معرفي يك طرح جديد ارزشيابي تحصيلي به دلخواه انتخاب شده است. طرح ارزشيابي توصيفي نوعي ارزشيابي كيفي(qualitative evaluation) است.
ارزشيابي كيفي بيانگر رويكرد جديدي در تكميل ارزشيابي هاي سنتي است. نظريات گوبا و لينكلن سيطره ارزشيابي هاي سنتي را مورد تهاجم قرار داده و بيش از يك دهه موضوع جدال نظري صاحبنظران ارزشيابي بوده است (ANDERSON, 1999) .آندرسون در كتاب " بنيادهاي تحقيق آموزشي" اين مباحثات را در پاسخ به برخي محدوديت هاي ارزشيابي هاي سنتي قلمداد نموده و آنرا موجب شكوفا شدن عرصه ارزشيابي و خط مشي گذاري مي داند)مقني زاده (محقق معين)، 1380)
متاسفانه تا كنون طراحان طرح ارزشيابي توصيفي، مباني نظري اين طرح را ارائه ننموده و صرفا به بيان شواهد پژوهشي و مستندات اداري استفاده از مقياس هاي كيفي در ديگر كشور ها بسنده كرده اند. از آنجا كه اخيرا مباني نظري طرح ارزشيابي توصيفي از سوي صاحبنظران مورد بحث قرار گرفته است؛ از جمله در
ويژه نامه هفته پژوهش سال 1382 پژوهشكده تعليم و تربيت ، نگارنده بر خود فرض نمود كه به عنوان يكي از همكاران اين طرح به سهم خود با وضوح بيشتري برخي از پشتوانه هاي نظري طرح ارزشيابي توصيفي را دو باره مطرح نمايد.
از ابتداي سال جاري كه از موضوع برگزاري همايش ارزشيابي تحصيلي آگاه شدم؛ با ارسال مقاله قصد داشتم در خصوص مباني نظري طرح ارزشيابي توصيفي، در همايش ارزشيابي تحصيلي كه با حضور مجريان طرح و ساير صاحبنظران و دست اندر كاران ارزشيابي تحصيلي در آذر ماه 1382 در تهران برگزار شد ، آخرين يافته ها و حاصل مطالعات خويش را عرضه كنم! اما هر چند كه به موقع مقاله را ارسال كردم اما متاسفانه فرصت و اجازه اين كار به من داده نشد !!
خوشبختانه در مرداد ماه سال 1380 در مقاله اي تحت عنوان ارزشيابي توانمند ساز مشروحا مباني نظري "ارزشيابي كيفي "، "مدل ارزشيابي توانمند ساز " و نحوه كاربرد اين مدل در بخشي از نظام آموزشي كشورمان (آموزش فني و حرفه اي يا علمي – كاربردي ) را مطرح كرده ام. همچنين در تير ماه سال 1382 گزارش اجراي طرح پيش آزمايشي ارزشيابي توصيفي در 24 كلاس اول ابتدائي 12 مدرسه در 5 استان كشور در سال تحصيلي 1382- 1381 را به دفتر ارزشيابي تحصيلي و تربيتي وزارت آموزش و پرورش و از آن طريق دبيرخانه شوراي عالي آموزش و پرورش تقديم كرده ام.
گزارش اجمالي اجراي پيش آزمايشي طرح ارزشيابي توصيفي را بخوانيد.
متاسفانه اغلب مسئولين اصلي طرح ارزشيابي توصيفي در دفتر ارزشيابي تحصيلي و تر بيتي وزارت آموزش و پرورش هيچ رغبتي به استفاده از نظرات صاحبنظران دانشگاهي و حتي ديگر دست اندر كاران در وزارت آموزش و پرورش و علاقه منداني چون من براي ارتقاء كيفيت اجراي طرح آزمايشي ارزشيابي توصيفي از خود نشان نمي دهند. معهذا نگارنده طي شش ماه گذشته به صورت داوطلبانه وبلاگ ارزشيابي توصيفي را فعال نگاه داشته و با مجريان طرح آزمايشي ارزشيابي توصيفي در مدارس و سازمانهاي آموزش و پرورش استانها ارتباط خود را حفظ كرده و تا وقتي كه بتواند حفظ خواهد كرد. در ادامه بخشي از مباني نظري طرح ارزشيابي توصيفي تقديم مي شود.
نظريه گوبا و لينكلن (GUBA & LINCOLN THEORY)
گوبا و لينكلن در سال 1989 نتايج تحقيقات خود را در كتابي تحت عنوان نسل چهارم ارزشيابي ( Fourth Generation Evaluation) منتشر ساخته اند . نتايج پژوهشهاي اين دو ارزشياب را شايد بتوان به زلزله اي در ارزشيابي تشبيه كرد.
جارگون باسترز(Jargon Busters) چكيده‌اي از كتاب نسل چهارم ارزشيابي تهيه كرده است كه نظريه گوبا و لينكلن را با استفاده از اين چكيده در ادامه بيان كرده ايم. اصطلاح نسل چهارم ارزشيابي اين سئوال را به ذهن متبادر مي سازد كه نسلهاي اول تا سوم ارزشيابي از نظر گوبا و لينكلن كدامند و از چه ويژگي هائي برخوردارند؟ در جملاتي كوتاه به بيان اين مهم مي پردازيم.
نسل اول ارزشيابي (اندازه گيري )
نسل اول ارزشيابي را در يك كلمه مي توان اندازه گيري ( Measurement) ناميد . هدف اصلي مدرسه، ياددادن شناخت هاي بي غلط بوده است. بچه ها اين واقعيات را به نحو ماهرانه‌اي بوسيله آزمونهاي حافظه به ما بر مي‌گردانند . نقش ارزشياب در اين نسل از ارزشيابي، فني بوده است . از وي انتظار مي رفته است كه دانش و توانائي استفاده از طيف وسيعي از ابزارهاي اندازه گيري روانسنجي را كه از اواسط دهه 1940 در دسترس بوده را داشته باشد .
نسل دوم ارزشيابي (توصيف)
نسل دوم ارزشيابي را مي توان در اصطلاح «توصيف» (Description) خلاصه كرد . نسل اول دانش آموزان را به عنوان هدفِ ارزشيابي هدف، گرفته بود . اما چنين هدفي اطلاعات مفيدي درباره برنامه مدرسه بدست نمي دهد . اين وضعيت زيبنده مقتضيات ايالات متحده آمريكا در دهه 1930 بود و بنابراين نسل دوم ارزشيابي متولد شد .
در حول وحوش اين زمان رالف تايلر( Ralph Tyler) در حال ارتقاء بخشيدنِ آزمونهايي براي اندازه گيري اينكه تا چه حد دانش آموزان چيزهايي كه معلمان آنها از آنها انتظار دارند ياد بگيرند را ياد گرفته‌اند يا نگرفته‌اند، بود. به چنين پيامدهاي يادگيريِ دلخواهي، بر چسب اهداف زده شد. تايلر وظيفه تعديل كردن رويه هايي براي پالايش برنامه آموزشي جديد به نحوي كه براي زمان خود طراحي شده باشند و اطمينان از خوب كار كردنشان وجود داشته باشد را بر عهده گرفت . او گستره‌اي كه برنامه هاي جديد به اهدافشان دسترسي پيدا كرده اند را اندازه گيري كرد و بنابراين قادر شد تا نقاط قوت و ضعف در طراحي برنامه درسي را مورد توجه قرار دهد.
بنابراين نقش ارزشياب، توصيف الگوهاي قوت و ضعف در تعيين اهداف و كاربرد آن در برنامه درسي مفروض شده است.
نسل سوم ارزشيابي (قضاوت)
سومين نسل ارزشيابي را گوبا و لينكلن «قضاوت»( Judgement) ناميده اند. آمريكائي ها ضرب المثلي دارند كه مي گويد «چيزي را كه ارزش انجام دادن ندارد، نبايد خوب انجام داد» ( Something not Worth doing is not Worth doing Well) سئوال كليدي كه بعد از دهه 1950 در آمريكا مطرح شد اما نه خيلي زياد، اين بود كه آيا به اهداف رسيده ايم و دقيق تر اينكه آيا اهداف ارزشمندند ؟
اين نسل سومي كه بنابراين، قضاوتهايي در مورد ارزشمند بودن، ناميده شد؛ در بردارنده مدلهاي متفاوتي براي دست يافتن به ارزشها در خلال دهه هاي 60 و 70، آينده اي حياتي دربرداشت. بنابراين ارزشياب به مثابه يك قاضي عمل مي كرد.
نقيصه هاي ارزشيابي در سه نسل
گوبا و لينكلن سه نقيصه مهم براي سه نسل اول تا سوم ارزشيابي بيان كرده اند كه عبارتند از:
I - گرايش به مديريت گرائي
مديري كه ارزشياب را به استخدام در آورده گرايش به ايستادن بيرون از دايره ارزشيابي را دارد. كيفيت هاي مديريت او نبايد زير سئوال كشيده شود . ارتباط مدير و ارزشياب نابرابر و غير منصفانه است و در خصوص تصميم‌گيري در مورد اينكه چگونه سئوالات بايد پرسيده شود و جوابها چگونه جمع آوري و تفسير شود و چه كسي نتايج را ببيند؛ ديگر ذي نفعان نماينده نداشته و ممكن است از حقوق خود محروم شوند .
II - شكست در سازكاري با ارزش تكثر گرايي
وقتي كه ارزشيابي نوعي ارزش گذاري در نظر گرفته شود ، سئوالي وجود دارد و آن اينكه ارزشهاي چه كساني ؟ ادعاي عاري از ارزش بودن در شيوه تحقيق علمي ، قابل دفاع نبوده و به عنوان موردي از ارزش تكثر گرايي در جوامع و در بين فرهنگها به عنوان يك موضوع حياتي كه بايد در ارزشيابي مورد توجه قرار گيرد ، وجود دارد . هيچكدام از رهيافتهاي سه نسل اول ارزشيابي در كمترين مقدار هم با ارزشهاي متفاوت سازگاري ندارند .
IIV - فراتر رفتن از تعهد به انگاره تحقيق علمي
هر سه مدلهاي اوليه ارزشيابي ظاهرا انگاره علمي را به عنوان راهنماي كار روش شناختي خود به كار مي برند. اما چنين شدت وابستگي به روش هاي علمي نتايج ناخوشايندي را بدنبال داشته است كه عبارتند از :
الف ـ هرز رفتن زمينه
بر آورد آن چيزي كه مورد ارزشيابي قرار مي گيرد در داخل زمينه ويژه بزرگتر آن نيست . اين وضعيت منجر به تعميم در سئوالات و نتايج و دگرديسي و تقليل وابستگي زمينه اي و قابليت كاربرد يافته ها مي شود .
ب ـ وابستگي شديد به سنجه هاي كمي
چنين شيوه هائي عملا منجر به آن مي شود كه فكر كنيم آنچه نمي تواند قابل سنجش باشد واقعيت هم ندارد .
ج ـ تحميل واقعيت
علم ادعا مي كند كه با ما درباره چيزهائي كه واقعا هستند گفتگو مي كند و مشخصه آن مديريت گرائي و تعهد به انگاره علمي است و اين منجر به قفل شدنِ تفكر در شيوه تجربه گرايانه و عاريه دادن حمايت هاي غير مشروع از وضع موجود است .
دـ واقعيت علمي قابل مذاكره نيست
اگر علم واقعيات را درباره چيزها فاش كند پس هر تفسير جايگزين ديگري بايد اشتباه باشد .
هـ ـ ارزشياب داراي مسئوليت اخلاقي نيست
با توجه به رعايت اصل عاري از ارزش بودن، ارزشياب براي نتيجه گيري هايش هيچگونه مسئوليت اخلاقي ندارد اگر كه يافته ها واقعيات علمي باشد .
نسل چهارم ارزشيابي (فرايند)
نسل چهارم ارزشيابي با ادعاها ، علائق و مسائلِ مخاطبان ذينفع و به كارگيري روش شناسي پاردايم تفسير گرايان سازماندهي شده است . اين نسل ارزشيابي در بردارنده فرايندهاي زير است اما نه ضرورتا به ترتيبي كه ذيلا مطرح شده است:
1ـ تعريف ترتيبات كامل ذي نفعاني كه مخاطراتي در پروژه مورد ارزشيابي دارند
2ـ انگيزاندن هر يك از گروههاي ذينفع براي ارائه تفسيرهاي خود از مسائلشان و مرتب كردن ادعاها ، علائق و مسائلي كه ذي نفعان مي خواهند آنها را با تفسير شان مرتبط نمايند .
3ـ فراهم كردن زمينه و روشي كه از خلال آن، امكان درك، نقد، تحسين و محاسبه، تفاسير متفاوت و ادعاها ، علائق و مسائل متنوع وجود داشته باشد .
الف ـ اين روش شناسي مي بايست از داخل هر يك از گروههاي ذي نفع تفسيرگروه يا در صورت اختلاف، تفاسير گروه را بيرون كشيده به نحوي كه امكان دسترسي و اتخاذ تصميمات درباره ادعاها، علائق و مسائل وجود داشته باشد .
ب ـ بارور شدن و دگرگشتي هرگروه به همراه تفاسير، ادعا ها، علائق و مسائل مربوطه، منبعث از ديگر گروها است چرا كه چنين مقولاتي مي بايست با هم برخورد كرده و داد و ستد نمايند. چنين باروري و دگر گشتي ميان گروهي ممكن است همچنين شامل تفاسيري كه از ادبيات يا ديگر جوانب و يا از تجربيات ارزشياب بيرون كشيده مي شود؛ بگردد. هر تفسير ادعا، علاقه يا مسئله، ممكن است شايستگي ارائه شدن و باز كردن باب نقد و انتقاد را داشته باشد.
4 ـ ايجاد وفاق با ارج نهادن بر بسياري از تفاسير و ادعاهاي مربوط به آن ، علائق و مسائل امكان پذير است .
5 ـ برنامه اي براي مذاكره، بر روي مقولاتي كه در مورد آنها وفاق وجود نداشته و يا وفاق روي آنها كامل نيست.
6 ـ جمع آوري و تهيه اطلاعات مورد نياز براي برنامه مذاكره.
7 ـ تبادل نظر و ميانجيگري در گرد همائي نمايندگان گروههاي ذينفع در هر مذاكراي كه مي‌تواند اتفاق بيفتد.
8- نوشتن و بسط يك يا چند گزارش از يافته هاي مرتبط با گروههاي ذينفع ارزشيابي، به منظور جلب و ارتقاء وفاق روي تفاسير و راه حلهائي در مقابل ادعا ها ، علائق و مسائلي كه وجود دارد .
9- به جريان انداختن مجدد ارزشيابي به منظور خلاصي از تفاسير غير پايدارو ادعاها، علائق و مسائلي كه وجود دارد.
نهمين فرايند پيشنهادي گوباولينكلن براي انجام ارزشيابي به روش نسل چهارم، بيانگر اين نكته مهم است كه ارزشيابي هاي نسل چهارم هرگز كامل نمي شوند. آنها مؤكول به نيازهاي فراتر و فرصتهاي بعدي مي گردند.
دلايل اهميت ذي‌نفعان در نسل چهارم ارزشيابي
گوبا و لينكلن اهميت زيادي براي ادعاها ، علائق و مسائل گروه هاي ذي نفع قائل هستند . آنها خودشان در كتابي كه در سال 1989 نوشته اند پنج دليل براي توجه و اهميت به گروههاي ذي نفع به عنوان اساسي براي تصميم گيري در باره اطلاعاتي كه در يك ارزشيابي مورد نياز است؛ بيان كرده اند. اين دلايل عبارتند از :
1- ذي نفعان در موقعيتي هستند كه ارزشيابي منافع آنها را در معرض خطر قرار مي دهد بنابراين منصفانه و سزاوار است كه علائق آنها وارد فرايند ارزشيابي شود.
2- ارزشيابي به اين شيوه، ذي نفعان را به آشكار كردن استسمار ، محروميتها و ناتوانائيهايشان وادار مي كند . بنابراين علائق دفاع از خود به آنها اين حق را مي دهد كه برخي از كنترلها را برفرايند ارزشيابي به عمل آورند .
3- ذي نفعان، مجازا نمايندگي بازار دست نخورده اي را مي نمايند كه براي استفاده از يافته هاي ارزشيابي پذيراي تعريف نيازها و علائق خود هستند .
4- فراگيري داده هاي ذي نفعان به مقدار زيادي گستردگي حوزه معنائي تحقيق را موجب شده و در تشخيص منطقي چيزهاي غير قابل اندازه گيري، دخالت دارد و اين ضرورتي براي پيامدهاي مثبت ارزشيابي است .
5- همه بخشها مي توانند به طور متقابل براي بيشتر شكل گرفتن آموزش ببينند و كاركنان فرهيخته ساخته شوند و به همان خوبي كه ارتقاء مي يابند ، رهگشاي ديگران باشند .
گوبا و لينكلن همچنين تاكيد كرده اند وقتي چنين بحثهائي به ديگر جنبه ها كشيده مي‌شود دلايل ديگري گسترش مي يابند براي مثال نياز به :
ـ دور شدن از ايدئولوژي مديريت گرائي
ـ در نظر گرفتن ارزشهاي كثرت گرايانه
ـ بازنگري بنياد هستي شناختي تفسيرهاي ارزشيابانه
ويژگيهاي نسل چهارم ارزشيابي
بايستي باور كرد كه نسل چهارم ارزشيابي جرياني پويا و توانفرساست كه مي بايد مورد توجهات جدي قرار گيرد ذيلا به بيان ويژگيهاي نسل چهارم ارزشيابي مي پردازيم .
1ـ ارزشيابي يك فرايند است. فرايندي كه از طريق آن ارزشيابان و گروههاي ذينفع به هم پيوسته و دسته جمعي به خلق يا حركت به سوي خلقِ يك تفسير ارزشي اجتماعي از برخي چيزهاي مورد ارزشيابي مي پردازند . اين ضرورتا موجب توليد اطلاعات انكار ناپذير (لااقل تجربه پذير از برخي جنبه ها) نمي شود. برخي ويژگيهاي اين فرايند عبارت است از:
الف ـ فرايندي شامل جمع آوري داده و ارزش گذاري داده (تفسير ) به يك كلي جدايي ناپذير و همزمان .
ب ـ فرايندي محلي است كه پيامدهاي آن بستگي به زمينه هاي محلي دارد ، ذي نفعان محلي و ارزشهاي محلي كه امكان تعميم به ساير مجموعه ها را ندارد .
ج ـ فرايندي اجتماعي سياسي است . جنبه هاي اجتماعي ، فرهنگي و سياسي بدور از اينكه به تنهائي مايه حواس پرتي تحريف و يا دردسر باشد با فرايند همبسته شده اند . اين جنبه ها حداقل همانقدر مهم است كه توجهات به كفايت فني اهميت دارد .
دـ يك فرايند ياد دهي و يادگيري است . ارزشيابان ، كارآوران ، پاسخگويان و همه ذي نفعان، هر دو عمل يادگيري و ياد دهي به ديگري را انجام مي دهند .
هـ ـ فرايندي مستمر ، بازگشت پذير و ناهمگون است. به دليل اينكه يافته هاي آن منجر به خلق تفاسير اجتماعي كه موضوعي براي بازسازي است ، مي باشد . ارزشيابي ها بايد مستمرا مورد تجديد نظر قرار گرفته و به روز گردد.
وـ فرايندي اضطراري است . ارزشيابي نمي تواند كاملا مطابق طراحي جلو برود براي اينكه تمركز آن بر وابستگي به داده هاي ذي نفعان و فعاليتهاي مجموعه‌ايِ تصادفي است
زـ فرايندي است براي اشتراك در پاسخگويي نسبت به امور مورد ارزشيابي به جاي مسئوليت يكجانبه نسبت به آنهاست .
ح ـ فرايندي كه ارزشيابان و ذي نفعان در يك ارتباط جدلي تفسيري مشاركت دارند .
2ـ ارزشيابان تعداد زيادي نقش قرار دادي (اما با تعريف مجدد) و نقش هاي غير قرار دادي را در اجراي نسل چهارم ارزشيابي ايفا مي كنند.
3ـ ارزشيابان بايستي نه تنها داراي تخصصي فني باشند بلكه همچنين واجد كيفيت هاي بين شخصي‌كافي و مناسب باشند . شايد مهمترين كيفيت ها عبارت از صبوري، انسانيت، صداقت، انطباق پذيري و احساس توافق جويي باشد .
در روش شناسي گوبا و لينكلن كه ملهم از تفسير گرايان است واژه ها معاني متفاوتي نسبت به ديگر روش شناسي‌ها دارند. در اينجالازم است بعضي از واژه‌هاي مهم كه رويكرد چهارمين نسل ارزشيابي را بهتر آشكار مي كند با استفاده از كتاب چهارمين نسل ارزشيابي بيان نمائيم.
مفهوم شناسي نسل چهارم ارزشيابي
ـ حقيقت (Truth)
يك موضوع مورد وفاق در ميان آگاهان مطلع و فرهيخته است . و نه موضوعي كه با يك واقعيت عيني مطابقت داشته باشد .
واقعيات ( Facts )
واقعيات معنايي بدون قرار گرفتن در يك چار چوب ارزشي ندارند . بنابراين واقعيات نمي‌توانند به عنوان شيء در هر چارچوبي برآوردشوند.
علتها ( cases ) و اثرات ( effects )
علتها و اثرات نمي توانند وجود داشته باشند به جز به وسيله اِسناد ، بنابراين پاسخگويي (مسئوليت ) يك موضوع نسبي است و متضمن حق مساوي همه بخشهاي متعامل است .
پديده ها ( phenomena )
پديده ها فقط در داخل زمينه اي كه مطالعه مي شوند مي تواند فهميده شود . يافته هاي از يك زمينه نمي تواند به جاي ديگر تعميم داده شود ، نه مسائل و نه راه حلها را از يك مجموعه به مجموعه ديگر نمي توان تعميم داد .
مداخله ها ( interventions )
مداخله ها پايدار نيست ، وقتي مداخله ها در زمينه ويژه اي عرضه مي شود؛ حداقل انتظار مي رود به همانقدري كه تحت تاثير زمينه قرار مي گيرد و تغيير مي كند زمينه را نيز تحت تاثير قرار دهد .
تغيير ( change )
تغيير نمي تواند مهندسي شود . يك فرايند غير خطي وجود دارد كه در بردارنده آغاز اطلاعات جديد و افزايش فرهيختگي در كار برد آن در خلال تعابيري كه انسانهاي مشاركت كننده دارند، مي باشد .
ارزشيابي ( Evaluation )
ارزشيابي فرآوري داده ها از شرايطي است كه واقعيات وارزشها بصورت جدا نشدني بهم مرتبطند .ارزش گذاري بخشي ضروري از فرايند ارزشيابي است كه فراهم آورنده بنيادي براي انتساب معناست.
پاسخگويي ( Accountability )
پاسخگويي يك ويژه گي بهم فشرده ي متقابل و همزمان ارزشياب و ارزشيابي شونده است . هيچ كس به تنهايي براي جايزه گرفتن يا شرمنده شدن مورد خطاب نيست .
ارزشيابان ( Evaluators )
ارزشيابان‌كساني هستند كه اولا مشاركت كنندگان ذهني با ذي‌نفعان در توليد داده‌هاي حقيقي‌اند و ثانيا هماهنگ كنندگان فرايند مذاكره كه تلاش مي كنند وفاق، آگاهي بهتر و فرهيختگي بيشتر در مورد تفاسير را به نقطه اوج برسانند .
داده هاي ارزشيابي ( Evaluation data )
داده هاي ارزشيابي ناشي از تحقيقات تفسير گرايانه، داراي وضعيت يا قوانين ويژه اي نيست. اين داده ها براي اينكه حركت به سوي دسترسي به وفاق امكان پذير گردد، به سادگي تفسير ديگري ارائه مي دهند. (BUSTERS, 2001)
ارائه نظريات گوبا و لينكلن پيرامون ارزشيابي ، دهه آخر قرن بيستم ميلادي را براي دانشمندان ارزشيابي سرشار از تحرك و پويايي و ارائه نقد و انتقاد و بحثهاي فراوان كرد كه هر كدام به سهم خود موجب شكوفايي و پهناوري گستره ارزشيابي شدند (مقني زاده (محقق معين )، 1381).
منابع و مآخذ
فارسي:
مقني زاده (محقق معين )، محمد حسن، 1380، ارزشيابي ثمربخشي دوره‌هاي علمي كاربردي، موسسه پژوهش و برنامه‌ريزي آموزش عالي.
مقني زاده(محقق معين )، محمد حسن، 1380، ارزشيابي توانمند ساز، سخنراني در مركز آموزش عالي امام خميني (ره) در تاريخ 12/9/1380.
مقني زاده(محقق معين )،محمد حسن،1381،ارزشيابي اجراي پيش آزمايشي مقياس كيفي در مدارس ابتدائي كشور در سال تحصيلي 1382-1381 (گزارش مقدماتي)، دفتر ارزشيابي تحصيلي و تربيتي وزارت آموزش و پرورش.
محقق معين ، محمد حسن،1382،ارزشيابي اجراي پيش آزمايشي طرح ارزشيابي توصيفي ،دفتر ارزشيابي تحصيلي و تربيتي وزارت آموزش و پرورش.
انگليسي:
Anderson, gary with nancy arsenaul , 1999 ,Fundamentals of Educational Research , London.
Busters , jargon , Fourth Generation , Evaluation ,2001,( source : GUBA EG and Lincoln Ys (1989) Fourth Generation Evaluation , sage).
