Sendhil Mullainathan
đ€ SpeakerAppearances Over Time
Podcast Appearances
Ich möchte noch etwas dazu sagen. Die Probleme mit LLMs, die sie heute haben, sind nicht nur ihre Errorrate, sondern auch die UnverschĂ€mtheit ihrer Errorrate. ErklĂ€r das mal. Wir wissen fast nicht, woher der Formfaktor und woher die Errorrate kommen werden. Das heiĂt, du hast einige schwere Errrore versucht und sie verfehlt hast.
Ich möchte noch etwas dazu sagen. Die Probleme mit LLMs, die sie heute haben, sind nicht nur ihre Errorrate, sondern auch die UnverschĂ€mtheit ihrer Errorrate. ErklĂ€r das mal. Wir wissen fast nicht, woher der Formfaktor und woher die Errorrate kommen werden. Das heiĂt, du hast einige schwere Errrore versucht und sie verfehlt hast.
Ich möchte noch etwas dazu sagen. Die Probleme mit LLMs, die sie heute haben, sind nicht nur ihre Errorrate, sondern auch die UnverschĂ€mtheit ihrer Errorrate. ErklĂ€r das mal. Wir wissen fast nicht, woher der Formfaktor und woher die Errorrate kommen werden. Das heiĂt, du hast einige schwere Errrore versucht und sie verfehlt hast.
Ich wette, wenn wir eine Stunde Zeit hatten, könnten wir einige einfache Errrore finden, die sie verfehlt haben. Und es ist dir nicht klar, warum es auf diesen einfachen Falschen gefehlt hat, aber auf diesen einfachen Falschen?
Ich wette, wenn wir eine Stunde Zeit hatten, könnten wir einige einfache Errrore finden, die sie verfehlt haben. Und es ist dir nicht klar, warum es auf diesen einfachen Falschen gefehlt hat, aber auf diesen einfachen Falschen?
Ich wette, wenn wir eine Stunde Zeit hatten, könnten wir einige einfache Errrore finden, die sie verfehlt haben. Und es ist dir nicht klar, warum es auf diesen einfachen Falschen gefehlt hat, aber auf diesen einfachen Falschen?
Ja, es ist anstrengend, zu denken, dass sie ihren Weg zu einer Antwort verweisen. Wenn sie etwas anderes machen, wie zum Beispiel das Potemkin-VerstÀndnis, wo es sehr einfach ist, diese Potemkins zu generieren, wo es scheint, das Richtige zu bekommen, dann warum kommt das andere Richtigste? Und man kann algorithmisch generieren und man sieht, es ist wie Swiss-Cheese, ihr Wissen.
Ja, es ist anstrengend, zu denken, dass sie ihren Weg zu einer Antwort verweisen. Wenn sie etwas anderes machen, wie zum Beispiel das Potemkin-VerstÀndnis, wo es sehr einfach ist, diese Potemkins zu generieren, wo es scheint, das Richtige zu bekommen, dann warum kommt das andere Richtigste? Und man kann algorithmisch generieren und man sieht, es ist wie Swiss-Cheese, ihr Wissen.
Ja, es ist anstrengend, zu denken, dass sie ihren Weg zu einer Antwort verweisen. Wenn sie etwas anderes machen, wie zum Beispiel das Potemkin-VerstÀndnis, wo es sehr einfach ist, diese Potemkins zu generieren, wo es scheint, das Richtige zu bekommen, dann warum kommt das andere Richtigste? Und man kann algorithmisch generieren und man sieht, es ist wie Swiss-Cheese, ihr Wissen.
Oh, das ist ein anderes Buch, das wir gerade beendet haben. Ein Beispiel dafĂŒr ist, dass man es einfach ein paar Beispiele geben kann und sagen kann, Was ist ein ABAB Rhymeschema? Gut. Und dann schreibst du ein kleines Ding, nimmst ein Wort und sagst, kannst du das ins Rhymen fĂŒllen? Und sie können es oder nicht. Manchmal ist es richtig, manchmal nicht.
Oh, das ist ein anderes Buch, das wir gerade beendet haben. Ein Beispiel dafĂŒr ist, dass man es einfach ein paar Beispiele geben kann und sagen kann, Was ist ein ABAB Rhymeschema? Gut. Und dann schreibst du ein kleines Ding, nimmst ein Wort und sagst, kannst du das ins Rhymen fĂŒllen? Und sie können es oder nicht. Manchmal ist es richtig, manchmal nicht.
Oh, das ist ein anderes Buch, das wir gerade beendet haben. Ein Beispiel dafĂŒr ist, dass man es einfach ein paar Beispiele geben kann und sagen kann, Was ist ein ABAB Rhymeschema? Gut. Und dann schreibst du ein kleines Ding, nimmst ein Wort und sagst, kannst du das ins Rhymen fĂŒllen? Und sie können es oder nicht. Manchmal ist es richtig, manchmal nicht.
Und wenn es nicht richtig ist, nimmst du das Wort und sagst es zu einem anderen Beispiel, ob dieses Wort mit diesem Wort zusammenhÀngt. Und es sagt nein. Es gibt also eine UnkohÀrenz unter dem Objekt. Das ist, wo der Zeitpunkt kommt.
Und wenn es nicht richtig ist, nimmst du das Wort und sagst es zu einem anderen Beispiel, ob dieses Wort mit diesem Wort zusammenhÀngt. Und es sagt nein. Es gibt also eine UnkohÀrenz unter dem Objekt. Das ist, wo der Zeitpunkt kommt.
Und wenn es nicht richtig ist, nimmst du das Wort und sagst es zu einem anderen Beispiel, ob dieses Wort mit diesem Wort zusammenhÀngt. Und es sagt nein. Es gibt also eine UnkohÀrenz unter dem Objekt. Das ist, wo der Zeitpunkt kommt.
Du hoffst also, dass diese Tricks das Problem lösen.
Du hoffst also, dass diese Tricks das Problem lösen.
Du hoffst also, dass diese Tricks das Problem lösen.
Es ist definitiv ein grundlegendes Problem. Ich denke, was in diesem Bereich passiert ist, wenn du mit diesen LLMs spielst, ist es einfach so groĂartig. Sie fĂŒhlen, als ob sie es verstanden haben. Es ist schwer, nicht eingelassen zu werden und zu denken, oh mein Gott, das ist eine denkende Kreatur.
Es ist definitiv ein grundlegendes Problem. Ich denke, was in diesem Bereich passiert ist, wenn du mit diesen LLMs spielst, ist es einfach so groĂartig. Sie fĂŒhlen, als ob sie es verstanden haben. Es ist schwer, nicht eingelassen zu werden und zu denken, oh mein Gott, das ist eine denkende Kreatur.