Luca

Und man wirft als Einmalzahlung Geld auf diesem Dienst ab, beispielsweise jetzt 10 Dollar habe ich da mal reingeworfen und kann dann sämtliche Modelle, die da hinterlegt sind von sämtlichen Firmen quasi austesten und mit den Originalfeatures nutzen, bis halt die 10 Dollar weg sind.

Und man hat auch sehr transparent eine Übersicht, da schmeiße ich mal einen Screenshot in den Chat rein, wie viel eigentlich bei den verschiedenen Modellen die einzelnen Queries, die man dann darüber abgeschickt hat, eigentlich kosten. Ich mache hier mal den Screenshot, damit man mal so einen Eindruck bekommt. Wir hatten ja gerade eben schon das Thema Energie.

Und man hat auch sehr transparent eine Übersicht, da schmeiße ich mal einen Screenshot in den Chat rein, wie viel eigentlich bei den verschiedenen Modellen die einzelnen Queries, die man dann darüber abgeschickt hat, eigentlich kosten. Ich mache hier mal den Screenshot, damit man mal so einen Eindruck bekommt. Wir hatten ja gerade eben schon das Thema Energie.

Daraus leitet sich dann ja auch ein bisschen so ein CO2-Footprint ab. Das ist ja durchaus auch gerade eine große Debatte.

Daraus leitet sich dann ja auch ein bisschen so ein CO2-Footprint ab. Das ist ja durchaus auch gerade eine große Debatte.

Also du kannst da mal genau in den Screenshot hier rein. Da sieht man jetzt also die letzten Abfragen, die ich damit gemacht habe. Das berechnet sich dann entsprechend der Tokens plus den API-Kosten des jeweiligen Dienstes. Aber den Stromverbrauch haben sie jetzt nicht? Den Stromverbrauch haben sie nicht drin. Das funktioniert also nur in Relation zueinander.

Also du kannst da mal genau in den Screenshot hier rein. Da sieht man jetzt also die letzten Abfragen, die ich damit gemacht habe. Das berechnet sich dann entsprechend der Tokens plus den API-Kosten des jeweiligen Dienstes. Aber den Stromverbrauch haben sie jetzt nicht? Den Stromverbrauch haben sie nicht drin. Das funktioniert also nur in Relation zueinander.

Das heißt also, du kannst jetzt ein und dieselbe Query halt jetzt mal in zehn Modelle schicken und dann gucken, okay, wie unterscheiden sich da eigentlich die Preise in Relation zu den Ergebnissen.

Das heißt also, du kannst jetzt ein und dieselbe Query halt jetzt mal in zehn Modelle schicken und dann gucken, okay, wie unterscheiden sich da eigentlich die Preise in Relation zu den Ergebnissen.

Das ist Tokens per Second. Das heißt also, wie schnell die Antwort kommt. Was auch noch so ein Indikator dafür ist, wie tief da gedacht wird, wie viel Rechenzeit da rein investiert wird.

Das ist Tokens per Second. Das heißt also, wie schnell die Antwort kommt. Was auch noch so ein Indikator dafür ist, wie tief da gedacht wird, wie viel Rechenzeit da rein investiert wird.

Ja, ganz so ist es nicht. Das sind jetzt unterschiedliche Anfragen hier. Darum sind jetzt hier auch teilweise sehr unterschiedlich. Also ein paar davon sind gleich, aber das habe ich jetzt hier gerade für die Sendung jetzt noch nicht normalisiert. Also um das jetzt sauber zu haben, müsste ich jetzt eine und dieselbe Anfrage an zehn Modelle und dann hätte man es wirklich vergleichbar.

Ja, ganz so ist es nicht. Das sind jetzt unterschiedliche Anfragen hier. Darum sind jetzt hier auch teilweise sehr unterschiedlich. Also ein paar davon sind gleich, aber das habe ich jetzt hier gerade für die Sendung jetzt noch nicht normalisiert. Also um das jetzt sauber zu haben, müsste ich jetzt eine und dieselbe Anfrage an zehn Modelle und dann hätte man es wirklich vergleichbar.

Genau, also O1 Preview ist mit riesigem Abstand am teuersten. Und es ist auch mit Abstand das langsamste Modell. Das heißt also, das rechnet teilweise so 35 Sekunden an der Antwort. Und wenn man das im Originalfrontend sich anschaut, sieht man auch, was so Zwischenschritte sind, die das durchmacht. Genau, also was ist jetzt dieses O1 Modell von ChatGPT?

Genau, also O1 Preview ist mit riesigem Abstand am teuersten. Und es ist auch mit Abstand das langsamste Modell. Das heißt also, das rechnet teilweise so 35 Sekunden an der Antwort. Und wenn man das im Originalfrontend sich anschaut, sieht man auch, was so Zwischenschritte sind, die das durchmacht. Genau, also was ist jetzt dieses O1 Modell von ChatGPT?

Das ist eigentlich von dem Grundmodell her Arbeitsthese von mir. Ja. So in den Raum geworfen. Nicht so viel anders als das, was ChatGPT4 hat, aber es hat so einen Step-Sequencer eingebaut in den Trainingsdaten. Das heißt, wir wussten ja schon bei ChatGPT4, dass die Ergebnisse deutlich besser werden, wenn man so Schritt-für-Schritt-Anweisungen gibt.

Das ist eigentlich von dem Grundmodell her Arbeitsthese von mir. Ja. So in den Raum geworfen. Nicht so viel anders als das, was ChatGPT4 hat, aber es hat so einen Step-Sequencer eingebaut in den Trainingsdaten. Das heißt, wir wussten ja schon bei ChatGPT4, dass die Ergebnisse deutlich besser werden, wenn man so Schritt-für-Schritt-Anweisungen gibt.

Also nicht das ganze Problem in einem einzigen Prompt rein und dann gucken, ob was bei rauskommt, sondern versuchen so in Zwischenschritten und Zwischenergebnissen zu arbeiten. Und das haben sie versucht jetzt in der O1-Version abzubilden, dass also die LLM sich selber versucht, das Problem runterzubrechen in einzelne Unterprobleme und die Schritt für Schritt zu bearbeiten.

Also nicht das ganze Problem in einem einzigen Prompt rein und dann gucken, ob was bei rauskommt, sondern versuchen so in Zwischenschritten und Zwischenergebnissen zu arbeiten. Und das haben sie versucht jetzt in der O1-Version abzubilden, dass also die LLM sich selber versucht, das Problem runterzubrechen in einzelne Unterprobleme und die Schritt für Schritt zu bearbeiten.

Und dadurch kommt dann, sie selber nennen das als Reasoning, also eben besser argumentieren können, besser verstehen können. Weiß ich nicht, ob es das von der Begrifflichkeit her richtig trifft, aber im Ergebnis kommen sie da halt wirklich zu teilweise spektakulär besseren Werten. Bzw.