Ladet doch mal jemanden ein, der Ahnung von KI hat

Es geht nicht darum, ob man ChatGPT die Frage hätte anders stellen müssen, damit die Prüfung bestanden werden kann, sondern ChatGPT die gleichen Kontextinformationen zur Rolle, Prüfungsformat, Benotungskriterien, Erwartungen, etc., bereitzustellen, die dem Schüler bekannt waren.

@patrickhanft

22 күн бұрын

Absolute Zustimmung. Wer halbwegs professionell mit Chatbots agiert, versucht sie mit maximalem Kontext zu primen und entsprechend iterative Verbesserungen zu erzielen. Also so ähnlich wie die Schülerinnen und Schüler, die sich aufs Abitur vorbereiten … 😉

@Narohja

8 күн бұрын

Es wäre schon interessant für ChatGPD optimierte Fragen danach von Oberstufenschülern oder sogar "in der Fußgängerzone" lösen zu lassen. Vielleicht wären die Ergebnisse ebenfalls überraschend...

@kaihenne

4 күн бұрын

@@patrickhanft Ich stecke da manchmal so viel Arbeit rein, dass ich es schneller selbst machen könnte. Und gerade ChatGpt ist vergesslicher als Olaf Scholz.

@linesplitter9161

3 күн бұрын

Ja aber dem Schüler ist die Mindestwortzahl bekannt. Auch dass man Nebensätze bilden soll und wie ein Kommentar aussehen soll. Sprich dass was der Schüler während des Unterrichts vorab lernt was wichtig ist, muss man GPT natürlich auch in den Promt geben. Ergo ist dass schon wichtig Infos zu geben die über die reine Aufgabe hinaus gehen. Man könnte zb ein Custom GPT dafür erstellen.

Bei dem Fach Deutsch wäre es wichtig gewesen im Prompt zu erwähnen dass eloquente und dynamische Sprache verwendet werden soll. Die Standard-Sprache von ChatGPT ist tatsächlich sehr "platt". Der Mangel an Fachbegriffen in Geschichte könnte vermutlich auch mit dem richtigen Prompt behoben werden, z.B. "verwende Fachbegriffe wie sie ein deutscher Hochschulabsolvent verwenden würde". Grundsätzlich ist ChatGPT wie ein Taschenrechner. Der war früher an Schulen auch nicht erlaubt, weil, Zitat meiner Lehrer "Niemand immer ein Taschenrechner bei sich hätte". Die Geschichte belehrt. Ich programmiere hobbymässig und ChatGPT macht mich ca. 3 Mal schneller. Vieles klappt auf anhieb nicht, aber meistens im zweiten oder dritten Anlauf mit menschlichen Einwirken.

@407wrld3

26 күн бұрын

ChatGPT ist aber eher so wie der erste Casio. Da kommt bald noch mehr, jeder kann bald ein (auch fähiges) LLM lokal laufen lassen und es deutet alles darauf hin, dass nahezu alle Modelle unter trainiert sind. Bei LLMs ist es aktuell so, dass sowohl software- und auch hardwareseitig noch einiges optimiert werden muss. Mal abgesehen von den anderen Faktoren die optimiert werden können. Wie du bereits geschrieben hast, kann durch Prompt Engineering, welches auf das Modell abgestimmt ist, auch noch einiges rausgeholt werden.

Imagine du musst bei der Hamburger Abi-Prüfung noch ChatGPT benutzen. 🤣

Vielleicht war die Prüfung Abi 2023 einfacher als die von 2022. das erklärt das bessere Abschneiden.

Wenn ich Abitur als Benchmark nehme schaffe ich ein neues Optimierungsproblem was nichts darüber aussagt wie gut ein allgemeines Modell ist

Zu den echt schwierigen Fragen in der Fragerunde gab es verblüffend gute Antworten. Ich brauche nichts mehr hinzuzufügen, da alle wichtigen somit aufgegriffen wurde.

Sry ich entwickle viel in GPT und verwende es um Knowledge Graphen anzureichern und die Menschen in dem Video reden einfach nur ... . Warum mussten die Menschen die zu Wort kamen keine Kompetenz Preuefung machen? GPT koente zuerst die Qualifizierung der Sprecher checken, und dann entscheiden ob die passend fuer so einen Vortrag sind. Einfach mal umkehren und sehen in wie fern etwas besseres raus kommt XDD

@chrystal108reading4

6 күн бұрын

@DanielD168 Lieber Daniel, wie steht es denn mit Deiner SPRACH- und SCHREIB-Kompetenz ? ;)

@danieldefiebre

5 күн бұрын

@@el_carlitosway Naja es gibt durch LLMs eine ganz neue Berufsgruppe die nennt sich Prompt Engineer. Der macht nichts anderes als die Anweisungen an GPT so zu optimieren, dass das beste Ergebnis herauskommt. Das alles wird hier in dem Vortrag nicht beruecksichtigt

@DanielD168

3 күн бұрын

@@chrystal108reading4 sehr schlecht, ich eine lese rechtschreib schwaeche. Leider schaffe ich es nicht, das auf ein normales Level zu bringen.

Das zeigt einfach, dass man sich als Mensch nicht künstlich aufblasen sollte, nur weil man an paar Wissensprüfungen bestanden hat.

Claude 3.5 hätte das wahrscheinlich hinbekommen. Habe ähnliche Aufgaben hier lösen lassen und das Ergebnis war bei längeren Texten deutlich besser.

wie war das Prompt engineering? das beeinflusst die qualitaet der ergebnisse. Wurde mit GPTs gearbeitet oder custom models? Das setting des Experimentes wurde nicht geframt

13:36 - Die Aussage ärgert mich sehr, dass es ungewöhnlich sei, wie sehr die Leistung je nach Fach variiert, wobei man es bei Schülern eher mit isgesamt leistungsschwächeren oder leistungsstärkeren Schülern zu tun hätte? Bitte, wo ist der Beleg für diese These? Ich kenne dazu keine Studie. Was ich aus eigener Erfahrung weiß, ist, dass es sehr häufig vorkommt, dass Schüler in manchen Fächern sehr gut sein können und andere ihnen nicht liegen. Das Problem ist immer die Lehrkraft, die meint, von ihrem Fach auf die Gesamtleistung zu schließen. Es ist doch nicht so, dass die Fachlehrkraft am Ende das Abiturzeugnis vorgelegt bekommt.

@janbao7668

9 күн бұрын

Ich glaube der Geschichtslehrer hat die Varianz der Antwortqualität innerhalb des Geschichtsabiturs gemeint. Alles andere würde mich wundern.

@tobiasurban8065

9 күн бұрын

@@janbao7668- ein paar Sekunden früher, ab 13:16 wird es eindeutig

Wie waren den die Ergebnisse bei GPT 4 bei den übrigen Fächern?

Naja, ChatGPT hat nicht wirklich die ABI-Prüfung ausgefüllt, ansonsten bräuchte man noch eine Kamera, ein Texterkennungssystem (OCR) die Fragen erkennt und ein Roboterarm, der die Fragen mit Kuli beantwortet und die Blätter umdreht.

Ebenfalls interessant wäre es gewesen die KI mit menschlicher Unterstützung das Abi schreiben zu lassen. Der Mensch selbst sollte dabei wenig Ahnung von den Prüfungsthemen haben, aber im Umgang mit ChatGPT geschult sein. Einfach um zu sehen wie weit jemand kommen kann, der keinen Peil hat aber schummelt.

Was für eine schräge Methodik

@lalapatala781

Күн бұрын

Auch total schlecht gepromted... Dass es keine 800 Wörter sind, hätte z.B. im Prompt explizit stehen müssen und wie überhaupt geschrieben werden soll. Finde das mehr als fragwürdig. Jemand, der sich damit auseinandersetzt, muss das einfach wissen.

na, dann sind wir froh darüber, man muss Chat GPT so füttern, dass das richtige rauskommt. Würde Chat GPT kreativ werden und selbst denken, hätten wir sehr bald ein sehr großes Problem :D

Finde es krass, wie ChatGPT schon personifiziert wird. "Er hat ... gemacht". Zeigt schon, wie überzeugend menschlich das Modell wirkt.

@richardpolt3706

25 күн бұрын

... er ist dann einfach stehen geblieben, der blöde BMW ... ... sie geht nicht auf, die Tür ... #generischesmaskulin

@zapl80

25 күн бұрын

​@@richardpolt3706 der BMW ist nicht generisches Maskulinum sondern der Artikel. Der Mond und die Sonne sind halt grammatikalisches Geschlecht. Generisches Maskulinum gibt es nur da wo es wirklich um menschliches Geschlecht geht und Dinge können in der Regel sowohl mit "der" als auch mit "die" bezeichnet werden. ChatGPT wird allgemein als Sache betrachtet und sprachlich so behandelt. Einen richtigen Artikel für ChatGPT gibt es auch nicht, der die das ChatGPT ist alles Blödsinn, es ist Englisch und damit "the", wir könne nicht anders als ein verglechbares deutsches Wort zu suchen und dessen Artikel zu nehmen. Lustig zu sehen bei der/die/das Quest.

In Bayern ist es eh wichtiger, dass du eine Alpenkuh mit einer Hand melken kannst und Dein Geld im Fußballstadion lässt.

@florianlion8215

22 күн бұрын

Kommst du aus Bayern? :D

@Nickname_42

22 күн бұрын

@@florianlion8215 Ich muss ja auch nicht aus China kommen, um zu wissen, dass dort überwiegend mit Stäbchen gegessen wird. Kommst du aus Sachsen?

...künstliche Intelligenz nur so schlau wie die Frage die man ihr stellt... nein, nur so gut wie die Quellen und wenn genug Leute mit Berliner Abitur im Internet behaupten KI Qualität hängt vor allem mit der Qualität der Fragen zusammen dann 'glaubt' das halt auch die KI. ChatGPT hat aus meiner Sicht auch noch ein massives Ideologie Problem, also dass Fragen zu aktuellen Themen, was ja bei einem Abitur durchaus passieren könnte, durch eine extrem linke Brille betrachtet werden. Da hätte der Copilot von Microsoft bessere Chancen, der scheint mir deutlich neutraler. Physik eine Aufgabe Lecksuche mit radioaktivem Thorium, da würde ChatGPT sicher mit unterbringen Atomkraft böse, Solarkraft toll, lass doch das Thorium weg.

@user-uh6co5ms6k

25 күн бұрын

Und das können Sie beurteilen? Wir wissen alle nicht, was in 6 Monaten ist, vor allem Sie nicht!

@pusel9016

24 күн бұрын

Ich glaube ja eher, dass du ein kleines Ideologieproblem hast.