Networkshop 2024 konferencia

1. MI/AI alapú tesztkérdés generálás
LMS rendszerekben
Vágvölgyi Csaba
vagvolgyi.csaba@metk.unideb.hu
Debreceni Egyetem
Multimédia és E-learning
Technikai Központ
Eszterházy Károly Katolikus Egyetem
Eger, 2024. április 03-05.

2. MIről lesz szó?
• Az MI/AI lehetséges szerepe az e-learningben
• AI-hoz kapcsolódó Moodle fejlesztések
• Kérdésgenerálás Moodle eszközökkel
• Kérdésgenerálás általános AI eszközökkel
(OpenAI, Google Gemini, Microsoft Copilot, …)
• Problémák és lehetőségek

3. Néhány AI-hoz kapcsolódó Moodle plugin
• Az alábbi AI-hoz kapcsolódó Moodle kiegészítő modulok elérhetőek a
https://moodle.org/plugins oldalon:
• OpenAI Chat Block
• Teaching Assistant Block
• AI Text to Image
• AI Connector
• Compilatio Plagiarism and AI Content Detector plugin
• Copyleaks Plagiarism and AI Content Detector plugin
• AI Text to questions generator
• OpenAI Question Generator

4. Miért volna hasznos a tesztkérdések
AI alapú generálása?

5. Debreceni Egyetem - tesztkérdés statisztikák
(kérdések száma > 1,2 millió)
30,327
40,119
90,346
96,063
108,360
186,603
717,152
0 100,000 200,000 300,000 400,000 500,000 600,000 700,000 800,000
Párosító
Beépített válaszos (kitöltő - Cloze)
Esszé
Kiegészítendő kérdés (Short answer)
Számjegyes
Igaz-hamis
Feleletválasztós
Kérdések darabszáma

6. AI Text to questions generator
• Moodle Local Plugin
• Támogatott verziók: Moodle 4.0, 4.1, 4.2
• Utolsó frissítés: 2023. június 6.
• Beállítási opciók:
OpenAI API key
„Próbálkozások száma”
Nyelv megadása

7. Generálás megadott szövegrészlet alapján

8. Elkészült kérdések

9. Tapasztalatok…
Pozitívum
• A nyelvhasználat alapvetően jó
• A használata egyszerű
• A generált kérdések és a „rossz válaszok” jól kapcsolódnak az eredeti
szöveghez
• A kérdések automatikusan bekerülnek az adott kurzus kérdésbankjába
Problémák
• Csak feleletválasztós kérdéseket használhatunk (4 válasz opcióval)
• Korlátozás a forrásként használt szöveget illetően
• Költségek (OpenAI API)
• „Hallucinációból” illetve elavult GPT modell használatából (feltételezés!)
adódó hibás kérdések („nem jó a jó válasz”)

11. Példa jó kérdésre

12. Példa hibás kérdésre 1.

13. A könyv első bekezdése
Gorcsev Iván, a Rangoon teherhajó matróza még huszonegy éves sem
volt, midőn elnyerte a fizikai Nobel-díjat. Ilyen nagy jelentőségű
tudományos jutalmat e poétikusan ifjú korban megszerezni példátlan
nagyszerű teljesítmény, még akkor is, ha egyesek előtt talán
szépséghibának tűnik majd, hogy Gorcsev Iván a fizikai Nobel-díjat
a makao nevű kártyajátékon nyerte el Noah Bertinus professzortól,
akinek ezt a kitüntetést Stockholmban, néhány nappal előbb, a svéd
király nyújtotta át, de végre is a kákán csomót keresők nem
számítanak; a lényeg a fő: hogy Gorcsev Iván igenis huszonegy éves
korában elnyerte a Nobel-díjat.

14. Példa hibás kérdésre 2.

15. OpenAI Question Generator
• Moodle Block
• Támogatott verziók: Moodle 4.0, 4.1, 4.2, 4.3
• Utolsó frissítés: 2023. december 16.
• Beállítási opciók:
OpenAI API key
GPT verzió kiválasztása
• Nincs nyelvválasztás (!)

16. Furcsaságok
• A szolgáltatás egy kurzus blokkban megjelenő gomb segítségével érhető
el, de a tesztelés során az egyik tesztportálon hibás volt a blokk által
hivatkozott URL (manuálisan javítható volt)

17. Tapasztalatok…
Pozitívum
• A használata egyszerű
• A generált kérdések és a „rossz válaszok” jól kapcsolódnak az eredeti szöveghez
• Feleletválasztós, igaz/hamis és Short answer kérdéstípusokat is tud generálni
• A kérdések automatikusan bekerülnek az adott kurzus kérdésbankjába
Problémák
• Nincs direkt nyelvválasztás
• A használt LLM modell függvényében generált magyar, illetve angol nyelvű
kérdéseket
• Korlátozás a forrásként használt szöveget illetően (plain text, limitált
szövegmennyiség)
• Költségek (OpenAI API)

22. Kérdésgenerálás általános AI eszközökkel
• A legtöbb LLM alapú modell alkalmas a kérdés generálásra
• Ebben az esetben a generált tartalom minőségén túl a legfontosabb
kérdés, hogy hogyan kerülnek be a kérdések a LMS rendszerbe
• Az AI „megtanítható” a tömeges kérdésimportálás során használható
formátumokra (pl.: AIKEN, GIFT, Moodle XML, …), de ez nem minden
esetben zökkenőmentes
• A tesztelés során az OpenAI szolgáltatásának különböző verzióit és
implementációit is kipróbáltam: ChatGPT (OpenAI), Microsoft Bing
csevegés, copilot.microsoft.com
• Google Geminivel (Google Bard)

23. Google Gemini 1.

24. Google Gemini 2.

25. Google Gemini 3.

26. Google Gemini 4.

27. Google Gemini 5.

28. Google Gemini 6.

29. Google Gemini 7.

30. Összefoglalás
• Jelenleg az oktatási intézmények számára túl drága az IA a tömeges
használathoz. (pl.: Copilot költségek)
• Ezek a költségek akár kiválthatók a lehetséges alternatív megoldások
megismerésével és befektetett munkával
• Várhatóan a jövőben számos új (egyre megfizethetőbb) megoldás
jelenik meg az érkező újabb nyelvi modellek támogatásával és
pontosabb beállítási lehetőségekkel
• Továbbra sem hagyható el az emberi ellenőrzés, különösen speciális
szakmai tartalmak esetén

31. Köszönöm a figyelmet!
Vágvölgyi Csaba
vagvolgyi.csaba@metk.unideb.hu
Eszterházy Károly Katolikus Egyetem
Eger, 2024. április 03-05.