Denna rapport är från forskare i Kina, vid East China Normal University och Microsoft Research Asia, och genomfördes för att bedöma förmågorna och begränsningarna hos ChatGPT för att rätta uppsatser skrivna på engelska (TOEFL-delen av rubriken – det står för Teaching Of English as a Foreign Language). De fann att det är effektivt med noggrann promptdesign, med feedback som används för att göra det mer exakt. Och det var också ganska bra på att upptäcka innehåll som inte hörde till ämnet i arbetet. De påpekar att befintliga system för uppsatsskorning (baserade på djupa neuronnätverk, statistisk maskininlärning och finjustering) tenderar att vara inflexibla – de snubblar om de används i olika sammanhang eller ämnen och om de inte har djupa dataset att lära från – jämfört med vad som kan göras med LLMs. Rapporten innehåller en bra sammanfattning av de fem steg som vi har gått igenom för automatiserad bedömning av uppsatser, med olika teknologier som medverkar.
Comments are closed