Vor 1 Stunde
Hallöchen Zenchy,
danke soweit für deine Kritik.
Es gibt aktuell tatsächlich 3 Gründe für die von dir genannte Problematik:
1. "Maschinelle" Schwierigkeit
Die Fragen werden samt der Antworten aktuell durch ChatGPT 5.6 eingestuft und da sieht man wahrlich die Dummheit von KI.
In einem fiktiven Beispiel würde KI auf die Frage: "Welche Farbe hat ein schwarzes Auto" mit der Antwort "schwarz" gerne mal eine Schwierigkeit über 3 angeben, wo wir uns nur den den Kopf fassen können. Die Idee ist dahinter dann zwar eine Auswertung der Antworten usw. zu nutzen, um die tatsächliche Schwierigkeit letztendlich "zu errechnen", aber ihr müsst eben daher erstmal eine dümmliche Frage nach der anderen beantworten.
2. Das Auffüllen von gewünschten Fragen
Momentan ist mein Ziel zunächst einen gewissen Fragenpool mit einer gleichmäßigen Verteilung in den Kategorien und Schwierigkeiten zu erreichen.
Dies passiert dann immer mal in Batches, weil gerade beispielsweise viel aus dem Bereich Technik in mittlerer Schwierigkeit benötigt wird etc.
Da ihr aber aktuell 90 Fragen pro Tag durchballert, kommt es kaum zu einer Vermischung und ihr bekommt dann vermehrt Fragen aus einem dieser Batches und das fühlt sich dann schnell alles sehr gleich an.
3. Die Distraktoren
Letzte Woche habe ich bei tausenden Fragen erstmal die Distraktoren überarbeitet, damit nicht so viele weltfremde, falsche Antworten im Spiel sind.
Bei einer Frage wie: "Welche Farbe gibt es auf einer Ampel?" - "Rot" - "Donaudampfschiffahrtsgesellschaftskapitän" - "Katze"
Ist es zwar ganz lustig, aber auch nicht dauerhaft zielführend, wenn dies übermäßig oft kommt.
Daher muss dann leider auch immer noch rückwirkend an dieser Front gearbeitet werden.
Die KI habe ich für die Erstellung nun soweit glaube ich ganz gut im Griff, aber die Problematik bei der Schwierigkeit bleibt und da heb ich noch keine Lösung gefunden.
Ich kann leider aktuell nur folgendes sagen:
Das Regelwerk wird für die KI kontinuierlich verfeinert, um die Qualität der Fragen auch rückwirkend (wovon ihr aktuell natürlich erstmal nichts merkt) zu verbessern, aber es ist tatsächlich ein zäher Prozess, den ich mir weniger problematisch vorgestellt habe.
danke soweit für deine Kritik.
Es gibt aktuell tatsächlich 3 Gründe für die von dir genannte Problematik:
1. "Maschinelle" Schwierigkeit
Die Fragen werden samt der Antworten aktuell durch ChatGPT 5.6 eingestuft und da sieht man wahrlich die Dummheit von KI.
In einem fiktiven Beispiel würde KI auf die Frage: "Welche Farbe hat ein schwarzes Auto" mit der Antwort "schwarz" gerne mal eine Schwierigkeit über 3 angeben, wo wir uns nur den den Kopf fassen können. Die Idee ist dahinter dann zwar eine Auswertung der Antworten usw. zu nutzen, um die tatsächliche Schwierigkeit letztendlich "zu errechnen", aber ihr müsst eben daher erstmal eine dümmliche Frage nach der anderen beantworten.
2. Das Auffüllen von gewünschten Fragen
Momentan ist mein Ziel zunächst einen gewissen Fragenpool mit einer gleichmäßigen Verteilung in den Kategorien und Schwierigkeiten zu erreichen.
Dies passiert dann immer mal in Batches, weil gerade beispielsweise viel aus dem Bereich Technik in mittlerer Schwierigkeit benötigt wird etc.
Da ihr aber aktuell 90 Fragen pro Tag durchballert, kommt es kaum zu einer Vermischung und ihr bekommt dann vermehrt Fragen aus einem dieser Batches und das fühlt sich dann schnell alles sehr gleich an.
3. Die Distraktoren
Letzte Woche habe ich bei tausenden Fragen erstmal die Distraktoren überarbeitet, damit nicht so viele weltfremde, falsche Antworten im Spiel sind.
Bei einer Frage wie: "Welche Farbe gibt es auf einer Ampel?" - "Rot" - "Donaudampfschiffahrtsgesellschaftskapitän" - "Katze"
Ist es zwar ganz lustig, aber auch nicht dauerhaft zielführend, wenn dies übermäßig oft kommt.
Daher muss dann leider auch immer noch rückwirkend an dieser Front gearbeitet werden.
Die KI habe ich für die Erstellung nun soweit glaube ich ganz gut im Griff, aber die Problematik bei der Schwierigkeit bleibt und da heb ich noch keine Lösung gefunden.
Ich kann leider aktuell nur folgendes sagen:
Das Regelwerk wird für die KI kontinuierlich verfeinert, um die Qualität der Fragen auch rückwirkend (wovon ihr aktuell natürlich erstmal nichts merkt) zu verbessern, aber es ist tatsächlich ein zäher Prozess, den ich mir weniger problematisch vorgestellt habe.
Liebe Grüße
Stefan
Fragen oder Probleme? Kontaktiere mich per E-Mail: stefan@shimly.de
Stefan
Fragen oder Probleme? Kontaktiere mich per E-Mail: stefan@shimly.de