Evaluationsverfahren von Informationskompetenz-Veranstaltungen

Barbers, Irene Evaluationsverfahren von Informationskompetenz-Veranstaltungen., 2011 Master thesis thesis, Fachhochschule Köln. [Thesis]

[img]
Preview
PDF
Masterarbeit_Barbers.pdf

Download (2MB) | Preview

English abstract

The thesis is situated in the context of courses in information literacy provided by academic libraries, focusing on methods of evaluation. Various methods of testing the effectiveness of information literacy courses are discussed, ranging from simple feedback methods to questionnaires concerning students' contentedness with courses and to tests assessing the informational skills achieved by students. Grounded on a thorough theoretical background on evaluation methods, put in context of the libraries' reference framework, the different approaches of assessment are put into comparison with the goal to define which are best suited for what purpose. Time and effort needed for each method are part of the consideration. A step-by-step description and critical assessment of an evaluation process using the questionnaire method illustrates the comparison and shows precisely the amount of time and effort needed to conduct this process, thus supporting librarians' decisions on adopting this method or not. The implementation of evaluation processes has become ubiquitous throughout the German academic landscape. The thesis shows that, in contrast to this general approach, evaluations should only be used in a focused way, addressing specific questions, to be an effective tool. Furthermore, measures of quality improvement should always be in the centre of attention and be linked directly to the outcomes of the evaluation process. Though it seems to be implicit, this step is often neglected in current practice.

German abstract

Die Arbeit befasst sich mit Informationskompetenz-Veranstaltungen an Hochschulbibliotheken als Bezugsrahmen. Grundlagen von Evaluationsmethoden für Schulungen als Präsenzveranstaltungen werden vorgestellt und verglichen, dabei stehen zwei Verfahren im Fokus: Befragungen und Lernkontrollen. Nach ausführlicher Erläuterung beider Verfahren zeigt ein Vergleich, dass beide Methoden ähnlich aufwändig in den zeitlichen und personellen Ressourcen sind und sich vor allem in ihrer Zielsetzung unterscheiden. Während Befragungen die Zufriedenheit der Studierenden mit den Schulungen als ein wichtiges Qualitätsmerkmal ermitteln, können mit Lernkontrollen Aussagen über den Kompetenzzuwachs der Teilnehmer gemacht werden. Allerdings bleiben etwaige Vorkenntnisse dabei unberücksichtigt und auch das realistische Rechercheverhalten und damit die langfristige Wirkung von Schulungen werden nicht abgebildet. Beide Methoden können sich aber sinnvoll ergänzen. Befragungen und Lernkontrollen lassen sich, wenn sie gründlich methodisch vorbereitet, durchgeführt und ausgewertet werden sollen, nur als Online-Verfahren mit vertretbarem Aufwand verwirklichen und dadurch als effizient bezeichnen. Besonders die durch Lernplattformen angebotenen Tools sind dafür geeignet. Grundsätzlich sind fokussierte Verfahren mit klar abgegrenzter Fragestellung einer flächendeckenden dauerhaften, aber dadurch eventuell auch mechanisch abgewickelten Evaluation vorzuziehen. Bei der vorhandenen Vielfalt des Kursangebots von Hochschulbibliotheken ist ein einheitliches Evaluationsverfahren nicht sinnvoll. Eine Beispielanwendung eines Evaluationsverfahrens im bibliothekarischen Alltag einer Fachhochschulbibliothek zeigt ganz konkret den Ablauf und die Ergebnisse eines solchen Vorhabens auf. Die für Evaluierungsmaßnahmen geltenden Standards, insbesondere Durchführbarkeit und Nützlichkeit, gehen als bewertende Kriterien in eine kritische Beurteilung des Verfahrens mit ein.

Item type: Thesis (UNSPECIFIED)
Keywords: Information literacy, information skills, evaluation methods, evaluation process, assessment, academic libraries Informationskompetenz, Schulungsveranstaltung, Evaluationsverfahren, Fragebogen, Lernkontrolle, Hochschulbibliotheken
Subjects: B. Information use and sociology of information
B. Information use and sociology of information > BH. Information needs and information requirements analysis.
F. Management. > FZ. None of these, but in this section.
Depositing user: Irene Barbers
Date deposited: 08 Dec 2011
Last modified: 02 Oct 2014 12:20
URI: http://hdl.handle.net/10760/16350

References

Arbeitsstelle für Hochschuldidaktik: Taxonomie-Matrix zur Analyse und Selbstevaluation von Hochschullehre (TAMAS), Zürich 2010.

Benner, Jürgen: Moodle kompakt. Schneller und effizienter Einstieg in die Praxis, 2. Ausg., Bodenheim [u.a.] 2011.

Beywl, Wolfgang: Evaluation Schritt für Schritt. Planung von Evaluationen, 2. Aufl., Münster 2008.

Beywl, Wolfgang; Schepp-Winter, Ellen: Zielgeführte Evaluation von Programmen. Ein Leitfaden, Berlin 2000.

Bortz, Jürgen u.a.: Forschungsmethoden und Evaluation. Für Human- und Sozialwissenschaftler, 4., überarb. Aufl., Nachdr. , Heidelberg 2009.

Braun, Edith u.a.: Das Berliner Evaluationsinstrument für selbsteingeschätzte, studentische Kompetenzen (BEvaKomp). In: Diagnostica, Vol. 54 (2008), S. 30–42: DOI: 10.1026/0012-1924.54.1.30, letzter Abruf am 13.01.2011.

Bühner, Markus: Einführung in die Test- und Fragebogenkonstruktion, 2., aktualisierte und erw. Aufl., München 2009.

Bundesministerium für Bildung und Forschung: Möglichkeiten und Voraussetzungen technologiebasierter Kompetenzdiagnostik. Eine Expertise im Auftrag des Bundesministeriums für Bildung und Forschung: http://www.bmbf.de/pub/band_zwanzig_bildungsforschung.pdf, letzter Abruf am 10.03.2011.

Deutscher Bibliotheksverband e.V. / Dienstleistungskommission: Standards der Informationskompetenz für Studierende: http://www.bibliotheksverband.de/fileadmin/user_upload/Kommissionen/Kom_Dienstleistung/Publikationen/Standards_Infokompetenz_03.07.2009_endg.pdf, letzter Abruf am 24.01.2011.

Diekmann, Andreas: Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen, vollst. überarb. und erw. Neuausg. 2007, 4. Aufl., [21. Aufl. der Gesamtausg.], Reinbek bei Hamburg 2010.

Döring, Nicola: Für Evaluation und gegen Evaluitis. Warum kann und wie sollte Lehrevaluation an deutschen Hochschulen verbessert werden. In: Berendt, Brigitte u.a. (Hrsg.), Neues Handbuch Hochschullehre. Lehren und Lernen effizient gestalten, Stuttgart 2006, S. I 1.7.

Dubs, Rolf: Besser schriftlich prüfen. Prüfungen valide und zuverlässig durchführen. In: Berendt, Brigitte u.a. (Hrsg.), Neues Handbuch Hochschullehre. Lehren und Lernen effizient gestalten, Stuttgart 2006, S. H5.1.

Fink, Corinna: Kompetenzorientierte Lehrevaluation. Diskussion neuer Perspektiven für neue Lehr- und Lernformen. In: Schumann, Matthias u.a. (Hrsg.), Multikonferenz Wirtschaftsinformatik 2010, Göttingen 2010, S. 433–444.

Hämmer, Viola; Flammersfeld, Eva: Informationskompetenzveranstaltungen evaluieren. Qualitätskontrolle durch Befragung. In: Bibliotheksdienst, Vol. 42 (2008).

Hämmer, Viola; Dönges, Eva: Wie gut finden wir eigentlich selbst unsere Kurse? Evaluation unter Kollegen, Vortragsfolien 100. Bibliothekartag, Berlin 2011: http://www.opus-bayern.de/bib-info/volltexte//2011/1082/pdf/Kollegiale_Evaluation.pdf, letzter Abruf am 29.06.2011.

Heinz, Andreas: Checkliste für Fragebögen: http://www.uni-trier.de/fileadmin/fb4/prof/SOZ/MES/Umfrage/Checkliste_fuer_Frageboegen.pdf, letzter Abruf am 09.06.2011.

Jacob, Rüdiger u.a.: Umfrage. Einführung in die Methoden der Umfrageforschung, 2., erw. und korr. Aufl., München 2011.

Johansen, Kathrin u.a.: Einsteigerhandbuch Hochschullehre. Aus der Praxis für die Praxis, 2., durchges. Aufl., Darmstadt 2010.

Kromrey, Helmut: Qualitätsverbesserung in Lehre und Studium statt sogenannter Lehrevaluation. ein Plädoyer für gute Lehre und gegen schlechte Sozialforschung. In: Pädagogische Psychologie (1996): http://www.profkromrey.de/Kromrey_PaedPsy_1996.pdf, letzter Abruf am 03.02.2011.

Kuckartz, Udo: Evaluation online. Internetgestützte Befragung in der Praxis, 1. Aufl., Wiesbaden 2009.

Meißner, Jörg-D; Wendler, Tilo: Statistik-Praktikum mit EXCEL. Grundlegende Analysen mit vollständigen Lösungen, Wiesbaden 2008.

Müller-Kohlenberg, Hildegard: Empfehlungen zur Anwendung der Standards für Evaluation im Handlungsfeld der Selbstevaluation, Alfter 2004.

Nilges, Annemarie u.a.: Standards für die Vermittlung von Informationskompetenz an der Hochschule. In: Bibliotheksdienst, Vol. 37 (2003), S. 463–465.

Porst, Rolf: Fragebogen. Ein Arbeitsbuch, Wiesbaden 2009.

Pötschke, Manuela: Potentiale von Online-Befragungen. Erfahrungen aus der Hochschulforschung. In: Jackob, Nikolaus u.a. (Hrsg.), Sozialforschung im Internet. Methodologie und Praxis der Online-Befragung, Wiesbaden 2009, S. 75–89.

Radcliff, Carolyn J. u.a.: A practical guide to information literacy assessment for academic librarians, Westport, Conn. 2007.

Rammstedt, Beatrice: Zur Bestimmung der Güte von Multi-Item-Skalen. eine Einführung: http://www.gesis.org/fileadmin/upload/forschung/publikationen/gesis_reihen/howto/how-to12br.pdf?download=true, letzter Abruf am 25.04.2011.

Rindermann, Heiner: Lehrevaluation. Einführung und Überblick zu Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen mit einem Beitrag zur Evaluation computerbasierten Unterrichts, 2., leicht korrigierte Aufl., Landau 2009.

Rockenbach, Susanne: Neugier und Zweifel - Informationskompetenz anders! Learning Library an der UB/LMB Kassel, Vortragsfolien Die lernende Bibliothek / La biblioteca apprende, Innsbruck 2007: https://kobra.bibliothek.uni-kassel.de/bitstream/urn:nbn:de:hebis:34-2007100519309/1/VortragRockenbach.pdf, letzter Abruf am 29.06.2011.

Sanders, James R.; Beywl, Wolfgang: Handbuch der Evaluationsstandards. Die Standards des "Joint Committee on Standards for Educational Evaluation", 3., erw. und aktualisierte Aufl., Wiesbaden 2006.

Sauerbier, Thomas: Statistiken verstehen und richtig präsentieren, München 2009.

Schmidt, Boris: Warum oft wirksam? Und warum manchmal wirkungslos? Subjektive Erklärungen zur Wirkung von Lehrveranstaltungsevaluationen aus Sicht von Nutzern und Anbietern. In: Zeitschrift für Evaluation, Vol. 7 (2008), S. 7–33.

Schmidt, Boris: Zukunftsaussichten der Lehrveranstaltungsevaluation aus der Sicht von Studierenden, Lehrenden und Evaluationsanbietern. Modererscheinung, bürokratischer Unsinn oder nachhaltige Entwicklung? In: Zeitschrift für Erziehungswissenschaft, Vol. 12 (2009), S. 126–146.

Schmidt, Boris; Loßnitzer, Tim: Lehrveranstaltungsevaluation. State of the Art, ein Definitionsvorschlag und Entwicklungslinien. In: Zeitschrift für Evaluation, Vol. 9 (2010), S. 49–72.

Sobottka, Gabriele: Lernerfolgskontrolle mit Online-Tests -. eine Alternative zu traditionellen Prüfungsaufgaben? Vortragsfolien Forum Information Literacy Assessment, München 2009: http://www.informationskompetenz.de/fileadmin/user_upload/Lernerfogskontrolle__2804_sobottka.pdf, letzter Abruf am 29.06.2011.

Stefer, Claus; Rädiker, Stefan: E-Valuation. Die Online-Erhebung qualitativer und quantitativer Daten und deren Auswertung. In: Kuckartz, Udo (Hrsg.), CAQD 2008. 10. MAXDA-Anwendertagung zur computerunterstützten Analyse qualitativer Daten. Tagungsband 2008, S. 83–93.

Stockmann, Reinhard: Handbuch zur Evaluation. Eine praktische Handlungsanleitung, Münster 2007.

Stockmann, Reinhard; Meyer, Wolfgang: Evaluation. Eine Einführung, Opladen 2010.

Taddicken, Monika: Die Bedeutung von Methodeneffekten der Online-Befragung. Zusammenhänge zwischen computervermittelter Kommunikation und erreichbarer Datengüte. In: Jackob, Nikolaus u.a. (Hrsg.), Sozialforschung im Internet. Methodologie und Praxis der Online-Befragung, Wiesbaden 2009, S. 91–107.

Verein Deutscher Bibliothekare e.V. (VDB): Hamburger Erklärung des Vereins Deutscher Bibliothekare e.V. (VDB). Wissenschaftliche Bibliotheken in Deutschland unterstützen die neuen Studiengänge durch die nachhaltige Förderung von Informations- und Medienkompetenz: http://www.informationskompetenz.de/fileadmin/user_upload/2009-11_informationskompetenz-hamburger-erklaerung.pdf, letzter Abruf am 24.01.2011.

Vogt, Michael; Schneider, Stefan: E-Klausuren-an-Hochschulen. Didaktik, Technik, Systeme, Recht, Praxis, 1. Aufl. , Gießen 2009.

Walsh, Andrew: Information literacy assessment: Where do we start? In: Journal of Librarianship and Information Science, Vol. 41 (2009), S. 19–28: DOI: 10.1177/0961000608099896, letzter Abruf am 23.04.2011.

Wottawa, Heinrich: Evaluation. In: Krapp, Andreas; Weidenmann, Bernd (Hrsg.), Pädagogische Psychologie. Ein Lehrbuch, Weinheim 2006, S. 659–686.

Zerback, Thomas u.a.: Zehn Jahre Sozialforschung mit dem Internet. eine Analyse zur Nutzung von Online-Befragungen in den Sozialwissenschaften. In: Jackob, Nikolaus u.a. (Hrsg.), Sozialforschung im Internet. Methodologie und Praxis der Online-Befragung, Wiesbaden 2009, S. 15–31.


Downloads

Downloads per month over past year

Actions (login required)

View Item View Item