Studentutvärdering av undervisning, eller SET, används ofta inom högre utbildning som feedback för kurslärares prestationer. Studenter betygsätter sina lärare kvantitativt, poängsätta sina prestationer på en numerisk skala på frågor som "Läraren är förberedd för klassen" och "Jag har lärt mig mycket av den här läraren."

Medan numeriska betyg ger ett påtagligt mått på en instruktörs prestation i klassrummet, de mäter bara vad frågorna ställer. Öppna frågeformulär skulle spegla helheten mycket bättre, men de är relativt underutnyttjade när det gäller att utvinna studentfeedback för att identifiera sätt att förbättra hur en kurs undervisas.

Varför är det så?

"Anta att jag undervisar cirka 300 elever, 400 elever och dessa studenter ger mig feedback – det är en stor datamängd och att manuellt få insikter som är viktiga för att förändra min undervisningsprocess eller förbättra min undervisningsprocess är tråkigt och mödosamt, " förklarar Swapna Gottipati, Biträdande professor i informationssystem (utbildning) vid SMU. "Därav, Jag måste vara beroende av någon form av verktyg eller maskin, och detta är ett sådant försök att generera datainsikter mycket snabbt för fakulteten att få insikterna från kvalitativ feedback."

Aspekter av feedback

Professor Gottipati hänvisar till hennes nyligen avslutade projekt "Learning Analytics on Qualitative Student Feedback to Improve Teaching and Learning in Higher Education, " som stöddes av Utbildningsministeriets (MOE) Tertiary Education Research Fund. Använder SMU:s interna feedbacksystem som sammanställer elevernas slututvärderingar, Professor Gottipati föreslår ett inlärningsanalyssystem som kallas "Course Feedback Analytics System (CFAS)" för att "hjälpa fakultetsmedlemmar att få djupare insikter om sina undervisningsmetoder, läroplan samt utveckling av bedömningar."

Använder Natural Language Processing (NLP), Professor Gottipati undersökte fem huvudaspekter av studentfeedback mellan kvantitativ och kvalitativ feedback, som inkluderar ämnen, Känslor, Förslag, Tid, och korrelation.

"För det första, det är ämnet, vilka är frågorna som eleverna pratar om, " säger hon till Office of Research and Tech Transfer. "För det andra, det handlar om rangordningen av de ämnen och frågor som är de viktigaste eftersom vi vill prioritera dem.

"Den tredje är att förstå uppfattningarna, som elevernas känslor eller åsikter. Om man tar en fakultets undervisningsstil som exempel – han eller hon kanske inte är särskilt engagerande eller talar väldigt långsamt, eller med en mycket låg röst. Allt detta är negativ feedback. Det kallas sentiment.

"Och den sista är de snabba sammanfattningarna av kommentarerna. Detta innebär en visualisering eller någon form av användarvänliga bilder eller rapporter som kan hjälpa oss att identifiera vad som behöver åtgärdas."

Professor Gottipati förklarar att NLP-modeller är regelbaserade och grammatikbaserade, och reglerna inbyggda i en modell kan extrahera adjektiv och vad dessa adjektiv refererar till. Det kan också identifiera de ämnen som eleverna skriver om i sin feedback.

Använda informationen

All data som extraherats från öppna svar skulle vara lite värd om den inte kunde användas. För detta ändamål, CFAS will feature what Professor Gottipati calls interactive 'doughnut' graphics that are not just basic bar graphs and pie charts but those that "expand and pop out the respective negative or positive feedback for the given topics and so on."

I sista hand, these will help not only the course instructor in fine-tuning their teaching, but will also help course managers and university administrators with macro-level management of the curriculum.

"During our performance evaluations, our reporting officers might give suggestions on how to improve the courses we teach, " says Professor Gottipati, who is also the Interim Associate Dean of Undergraduate Education at the School of Information Systems (SIS). "They should be able to know what happened both within the course, as well as about the course at a macro level. If they are aware of the positive comments provided for other courses, these can also be shared with other faculty for improvement in their teaching."