Sendhil Mullainathan

Es kann aussehen, als ob die Objekte spezifiziert wurden, aber wenn man sich an die großen Innovationen denkt, hat man festgestellt, dass das nicht das Problem ist, das wir versuchen zu lösen. Das ist das Problem, das wir versuchen zu lösen. Ich bin nicht im Burger-Business, ich bin im Customer-Satisfaction-Business. Ich bin nicht in diesem Business, ich bin in diesem Business.

Objekte spezifizieren, Bewegungen spezifizieren, die Regeln des Spiels spezifizieren. Sobald du das gemacht hast, wird der Algorithmus klar gewinnen.

Beispielsweise, wenn du mit einem Freund spielst. In einem Sinne ist das Ziel, gewinnen zu können. Aber in einem Sinne ist das Ziel, ein lustiges Spiel zu haben. Kannst du einen Algorithmus bauen, der ein lustiges Spiel mit dir hat? Jetzt wird das plötzlich interessant.

Und es gibt Menschen, die Chess-Algorithmen machen, die versuchen, herauszufinden, wie man ein lustiges Spiel-Algorithmus bauen kann. Und plötzlich ist das nicht mehr im Bereich des Computing. Du musst jetzt eigentlich dazu kommen, und Leute werden involviert.

Ja, und ich würde mich interessieren, was du darüber sagst. Ich glaube, als Fan bin ich ein großer Fan. Ich bin ein großer Fan von dir.

Ja, mehr als ein Account. Ich war so... Was ist das für ein Account-ID? Nein, es wird schlechter, Daryl. Nein, nein, es wird viel schlechter. Das war, als ich in der MIT-Tenur gearbeitet habe. Ich war so besessen mit Real GM, dass ich dann Moderator für die SIXERS-Message-Board wurde. Das ist wie ein genügendes Sicko-Behörde.

Nein, das war 2000. Ich sollte das nicht gemacht haben. Du hast es wirklich gut gemacht. Ja, ich hoffe es. Ich gebe meine User-ID nicht weg. Aber ich denke, als Fan ist das eine der Dinge... Wir können einfach NLP drauflegen und es herausfinden. Wir werden es herausfinden, Daryl, keine Sorge. Das ist eine Frank-Baum-Situation.

Was ich denke, und ich bin wirklich gespannt auf eure Meinung darauf, denke ich als Fan, was ich gesehen habe, ist, dass Gewinne zählen, aber es ist schockierend für mich, wie viel von meinem Vergnügen aus ein paar anderen Dingen kommt. Die Unterhütergeschichte, die Person, die nicht so viel schießen sollte, aber so viel schießt.

Ich war am glücklichsten als Sixers-Fan während der Prozess-Jahre, was eine seltsame Sache ist. Ich würde jedes Spiel sehen, Und ich weiß nicht, was das für Sport zeigt.

Nein, nein, keine Entschuldigung, Daryl, aber es war es nicht. Und ich werde dir sagen, warum es nicht war. Ich auch nicht. Wir sind in demselben Boot. Es war nicht so, weil die Storylines nicht kaptivierend waren. Und wenn ich an Sport als Unterhaltung denke, würde ich gerne wissen, ich würde gerne einen Algorithmus aufstellen, was eine kaptivierende Storyline macht.

Es gibt nur ein paar Storylines, die dich aufhalten. Du willst nach dem nächsten Spiel zurückkehren, du willst wissen, was los ist. Ist das Teil der objektiven Funktion? Oder ist das eine Illusion? Du denkst, Storylines sind wichtig, wir haben die Daten geschaut, es ist nur eins wichtig, es sind Gewinne. Ich weiß es nicht. Ich würde es gerne wissen.

Ich werde nur spekulieren. Du bist doch ein Fan von Sechser. Ich denke sogar, negative Emotionen sind in Ordnung. Ich denke, das, was gefährlich ist, ist Uninteresse. Wenn du über Sport denkst, Es ist leicht, Sport als Unterhaltung abzuschneiden.

Aber was kann es in unserer Kultur für Menschen aus sehr unterschiedlichen Hintergründen, unterschiedlichen Generationen tun, die miteinander sprechen und fühlen, dass sie eine bedeutende Begegnung haben? Eltern und Kinder, Großeltern. Es ist ein ganz besonderer Ort als kulturelles Artefakt.

Und das Hauptwichtigste, was es macht, wenn ich denke, dass es eine kulturelle Beitrag zur Gesellschaft ist, ist, dass es Gespräche bietet. Und ich denke, das Schlimmste ist, dass Anger gut ist. Das haben wir schon geredet. Nach dem Celtics-Spiel hast du einen Sixers-Fan kennengelernt. Es war einfach. Du wusstest, was du tun würdest. Du würdest klagen.

Und zu klagen mit einer anderen Person ist ihre eigene Form der Verbindung. Es sind diese Perioden, in denen man wirklich nichts zu sagen hat. Es ist das Interesse, dieses Gefühl, dass die Geschichte alt ist. Wir sind immer interessant.

Ich weiß, dass wir schlechte Erfahrungen gehabt haben. Das ist Pablos Büro.

Und es ist wert, darüber zu sprechen, welche Experten überrascht werden sollen und welche nicht. Bitte. Einige Experten sollten absolut überrascht werden. Es gibt Experten, bei denen die Art und Weise ihrer Expertise die beliebige, wiederholte Anwendung einer gewissen Tastatur ist. Ein sehr guter Arzt ist eine beliebige, wiederholte Anwendung einer gewissen Tastatur bei der Diagnostik.

Es ist nicht so, dass diese Algorithmen heute das tun können, ich denke, wir sind weit weg, aber es ist auch völlig plausibel, dass wir zu dem Punkt kommen, wo... Du meinst, wie ein X-Ray zu lesen? Ein X-Ray zu lesen. Es ist leicht zu sagen, dass das nächstes Jahr passieren wird, aber das wird nicht passieren. Aber es ist definitiv so. Sag nicht, dass deine Kinder in die Radiologie gehen sollen.

Du wirst glücklich sein, da wir beide Moms hatten, die uns gesagt haben, dass wir in die Medizin gehen sollen. Die Nerds werden über die Ärzte gewinnen.

Also, diese zunehmende Anwendung von Tasten und Wissen. Andererseits denke ich, dass der Genius von jemandem wie Daryl und Experten wie ihm Menschen sind, die können nehmen und ein unformuliertes Problem und es tatsächlich in einer Art und Weise formuliert, dass es tangibel und aktionabel wird.

Es ist also einfach zu sagen, oh, das 3-Punkte-Schiff, aber es war zu erkennen, in diesem Ozean von Sachen, fokussieren wir uns an dieser Seite des Problems, ist eigentlich sehr, sehr, sehr hart. Die Grund, warum Algorithmen so komplementär sind, geht zurück in die Kiste.

Sobald man das Problem formuliert, können wir jetzt Algorithmen benutzen, um es durchzuführen, was dann die enormen Rückkehrs zu Problemformulationen erzeugt.

Und ich denke, die Leute, die die Inchoate, unterspezifizierte, wer weiß, was hier überhaupt noch passiert, zurückbringen können, und das wieder in das, was ich jetzt formuliert habe, in ein Datenset oder eine bestimmte Art von Aktivität, diese Fähigkeit wird sehr hoch gehen.

Ich denke, die Daten-Science-Skills, die weniger wert sind, sind die von den Leuten, die, sobald sie formuliert werden, mit ihnen etwas machen. Aber das ist nicht dein Genius.

Ich möchte noch etwas dazu sagen. Die Probleme mit LLMs, die sie heute haben, sind nicht nur ihre Errorrate, sondern auch die Unverschämtheit ihrer Errorrate. Erklär das mal. Wir wissen fast nicht, woher der Formfaktor und woher die Errorrate kommen werden. Das heißt, du hast einige schwere Errrore versucht und sie verfehlt hast.

Ich wette, wenn wir eine Stunde Zeit hatten, könnten wir einige einfache Errrore finden, die sie verfehlt haben. Und es ist dir nicht klar, warum es auf diesen einfachen Falschen gefehlt hat, aber auf diesen einfachen Falschen?

Ja, es ist anstrengend, zu denken, dass sie ihren Weg zu einer Antwort verweisen. Wenn sie etwas anderes machen, wie zum Beispiel das Potemkin-Verständnis, wo es sehr einfach ist, diese Potemkins zu generieren, wo es scheint, das Richtige zu bekommen, dann warum kommt das andere Richtigste? Und man kann algorithmisch generieren und man sieht, es ist wie Swiss-Cheese, ihr Wissen.

Oh, das ist ein anderes Buch, das wir gerade beendet haben. Ein Beispiel dafür ist, dass man es einfach ein paar Beispiele geben kann und sagen kann, Was ist ein ABAB Rhymeschema? Gut. Und dann schreibst du ein kleines Ding, nimmst ein Wort und sagst, kannst du das ins Rhymen füllen? Und sie können es oder nicht. Manchmal ist es richtig, manchmal nicht.

Und wenn es nicht richtig ist, nimmst du das Wort und sagst es zu einem anderen Beispiel, ob dieses Wort mit diesem Wort zusammenhängt. Und es sagt nein. Es gibt also eine Unkohärenz unter dem Objekt. Das ist, wo der Zeitpunkt kommt.

Du hoffst also, dass diese Tricks das Problem lösen.

Es ist definitiv ein grundlegendes Problem. Ich denke, was in diesem Bereich passiert ist, wenn du mit diesen LLMs spielst, ist es einfach so großartig. Sie fühlen, als ob sie es verstanden haben. Es ist schwer, nicht eingelassen zu werden und zu denken, oh mein Gott, das ist eine denkende Kreatur.

Supervisiertes Lernen ist etwas anderes. Supervisiertes Lernen bedeutet, dass ich verschiedene Daten sammle und die Algorithmen frage, was in diesen Daten dieses bestimmte Ergebnis präsentiert. Sobald man ein Ergebnis spezifizieren kann und Variablen mit dem man prädiktieren kann, können diese Modelle wirklich ein Signal finden, das wir uns noch nie vorgestellt haben.

Ich denke also, das Spielbuch, das daraus entsteht, ist, sehr kreativ darüber zu sein, Dinge zu prädikieren, die man prädiktieren möchte. Und so haben sich die besten Arbeiten in der Disziplin darüber geklemmt. Darum liebe ich die Geschichte von Frank Baum. Die Person, die das gemacht hat, war super klug.

Das MacArthur-Genus?

Sie hat gesagt, ich bekomme nur ein paar Daten und prädikiere, ob das von Baum geschrieben wurde oder nicht. Ich habe Daten, die mir sagen, dass sie von Ruth Plumley geschrieben wurden. Für mich macht Sport so interessant, dass es so viele Unbekannte gibt, die man sich vorstellen kann, Daten zu sammeln. Ich bin mir sicher, dass ihr das schon oft macht, aber auch so etwas wie Schmerzrisiko.

Was ist ein guter Prediktor, ob jemand einen bestimmten Schaden bekommen wird? Und wenn ich das vorwärts spiele, ohne zu wissen, was ihr alle in diesem Bereich macht, ist es ein schönes Beispiel, um Dinge nachzudenken. Denn zu Beginn musst du kreativ sein, um zu sagen, dass es nicht nur um Gewinne geht und was passiert. Schaden sind groß, warum können wir nicht die Waffe auf das machen?

Dann musst du kreativ sein, um zu entscheiden, welche Input-Variablen du bekommen wirst, um das zu machen. Und das ist, wo ich denke, dass die Leute die größte Veränderung, die diese Algorithmen erzeugt haben, nicht vollständig verstanden haben.

Wenn ich sage, dass diese Algorithmen viel Signal in Daten finden können, dann ist eine logische Bedeutung davon, dass wir in neue Datenkollektionen investieren sollten. Und es gibt riesige Rücktritts zu der neuen Datenkollektion. Was würde ich also sagen? Was würde ich für Schadensrisiken präsentieren? Ich weiß es nicht. Welche Low-Cost-Anbieter könnte ich für Spieler einstellen?

Welche Low-Cost-Anbieter könnte ich nicht nur während des Spiels einstellen, sondern auch während der Freigabe? Vielleicht würde ich, wenn ich Videos von Freigabendämmern habe, kleine Veränderungen in Form bemerken, die Dinge bemerken, Das ist falsch auf bioskeletaler Ebene.

Die Kreativität kommt nicht darin, in den Daten zu finden, sondern in der Entscheidung, welche Daten der Algorithmus als Objektiv oder Input geben soll. Das ist eine ganz andere Art von offener Welt-Kreativität. Ich denke, diese Reise wird sich in den nächsten zehn Jahren ausbreiten. Wir sehen es in der Medizin. Ich glaube, wir sehen es auch in den Sportarten.

Ja, ich denke, und ich würde gerne hören, was du darüber denkst. Ich denke, was ich fokussieren würde, ist, die Kamera zu schalten, Da so viel davon bereits auf das Spiel konzentriert ist, würde ich die Kamera auch andersherum schalten, zum Beispiel auf die Entscheidende. Ich würde sagen, was sind die Entscheidungen, die wir immer machen?

Und wie beginne ich, Algorithmen zu erstellen, die mir helfen, zu scouten und mir zu erzählen, wo meine Biasen sind. Wo sind die Dinge, wo ich mich verletze? Das wäre ein Beispiel, wo ich anfangen würde.

Ja, dieses Studium war... Vor dem Trial müssen die Juden entscheiden, wer zu beurteilen ist. Und sie machen eine Prediktion des Risikos. Wird die Person nach dem Trial zurückkommen? Wird sie ein Verbrechen beurteilen? Das erste Teil des Studiums war, dass wir ein Algorithmus hatten, das die Beurteilung des Risikos präsentiert.

Und es kam heraus, dass das sehr gut geht und eine Menge an Wert an den Gericht zu geben. Wenn ich sage, eine Menge an Wert an den Gericht zu geben... Manchmal ist es in Sport schwer zu wissen, wie groß die Werten sind, aber in diesem Fall... Du könntest Rikers im Juli abschließen und die gleiche Kriminalität haben.

Du könntest also die Gefängnispopulation, die Gefängnispopulation, um 40% reduzieren. Es gibt also viel Wohlfahrt auf dem Tisch. Aber dann haben wir zwei Dinge gemacht, die sogar mich überrascht haben. Wir haben also nicht überlegt, was der Defendant tun würde. Wir haben die Kamera gedreht und überlegt, was der Berichter tun würde.

Und das erste, was wir gefunden haben, war, dass ein Berichter des Berichters diesen Berichter schießt. So that if an algorithm just does whatever the judge would typically do, that is better than what the judge actually does. And this is sort of a crisp way to see noise. And so many of our decisions, we found this in domain again, domain.

Something that could just tell you, you seem to be doing something different than you usually do. Like in many domains, medicine, judicial, so the predicted you does better than you is quite a... Das ist eine ziemlich furchtbare Sache. Ich finde das auf einem gewissen Niveau sehr bedrohlich. Und das ist für alle Experten wahr.

Ich fange mehr darauf hin, was du willst? Ich fange mehr darauf hin, was du willst? Ich fange mehr darauf hin, was du willst? Ich fange mehr darauf hin, was du willst? Ich fange mehr darauf hin, was du willst? Das gehört genau zu deinem Punkt. Es geht um den Kyle-Lowry-Punkt wieder. Ich steige in Sachen ein, in dem Moment, in dem ich sage, hey, das ist nicht, was du normalerweise machst.

Warum machst du das?

In diesem Fall. Dann haben wir die Prediktion erhöht, um nicht nur die Dinge zu sein, die wir glaubten, dass sie zutrifft, sondern eine Menge von Dingen. Und du identifizierst etwa eine halbe Die Variation von dem, was die Juden tun, was sie nicht tun sollten, kommt aus einer Variante im Datensatz, nämlich dem Mugshot.

So you can build the predictor of who the judge will release just by using the mugshot. And it does extremely well. More than any other characteristic. More than whether they've committed a crime, what they're being charged for, how many times they failed to appear. Just the mugshot. And in the mugshot, it's not just the variables you would imagine.

It reminded me of your Marc Gasol thing, actually. It was variables that even judges and the public defenders didn't realize mattered. So for example, one of the biggest things that has about half the size von einem gewaltigen Verbrechen ist, wenn die Person eine volle oder fette Gesichter hat. Das Interessante daran ist, wenn ich Leute frage... Ist es gut oder schlecht?

Aber ist das nicht seltsam? Wir wissen es nicht. Wir wissen es. Aber unsere Intuition sagt es nicht, auch wenn es in den Daten sehr... Ich schaue nur auf unsere Muggenschilder. Ja, ich schaue auch auf das. Das ist nicht gut, oder?

Das Gute ist, ich denke, Daryl wird nicht in den Gefängnis gehen. Oh, schön.

Ja, ja, ja. Aber du bist nicht gut geboren. Das ist das andere Ding. Ja, ja, ja. Halbwegs da. Gut geboren. Gut geboren ist gut. Ein bisschen runder Gesicht ist sehr gut.

Oder Sie könnten das Gegenteil präsentieren. Sie könnten das Gegenteil präsentieren. Und ich denke, diese Ideen, dass wenn die Kamera uns aufhört und uns hilft, was wir tun und was wir tun, das wäre wahrscheinlich der erste Blick, den ich nehmen würde. Denn eine solche Entscheidungshilfe könnte mir helfen, mich zu verstehen.

Aber ja, wenn wir alles hinter der Tür machen könnten... Also wie Orchester? Ja, Orchester. Hinter der Tür wäre fantastisch. Aber ich denke, diese Algorithmen können die Dinge über uns herausführen, die wir nicht über uns selbst wussten. Und das ist eine sehr optimistische Sache für mich. Ich denke, das ist ein Teil dessen Weg, auf dem wir aufgewachsen sind, um bessere Anwesenden zu werden.

Oh mein Gott, ich bin so viel in der Konversation. Darryl, ich brauche dich.

Ich versuche... Ich habe herausgefunden, dass Daryl sehr aufhört ist, ob die Fans interessiert sind oder nicht. Ich glaube, viele Fans hätten schrecklich gedacht, dass Daryl das nicht interessiert. Aber er ist schockierend aufhört, das zu machen. Das macht Sinn, aber ich glaube, die Fans hätten das misskalibriert.

Es klingt unambitiös. Ja, ich denke, dass AGI auf der Grundlage ein ambitiöses Ziel ist, aber es ist ein schockierend unambitiöses Ziel. Lass mich sagen, warum. Wir haben bereits Menschen, die sich wie Menschen denken können. Menschen, die sich wie was denken können? Menschen. Okay. Wir haben das und wir haben Wege, mehr davon zu machen. Und das sind lustige Wege, tatsächlich.

Das ist das nächste Panel. Das ist das nächste Panel. Aber was mir fehlt, und du hast viel gemacht, was wir brauchen, sind Algorithmen, die Dinge tun können, die man nie machen könnte. Und für mich ist das die grundlegende Erweiterung, die wir bekommen werden. Wir brauchen Algorithmen, die Dinge sehen, die wir nicht sehen, die Dinge bemerken, die wir nie sehen könnten.

Und der Grund, warum ich denke, dass die AGI-Parte unambitiös ist, ist, dass es auch zu hart ist, in dem Sinne, dass wir Algorithmen hatten, Vektoren, durch die Algorithmen Dinge sehen können, die wir absolut nicht sehen können. Und diese waren tatsächlich die einfachsten Plätze, um Performance zu verbessern. Um genau das zu tun, was wir mit sehr hohem Fidelity tun.

Das ist wirklich hart und nicht klar, ob es so viel Spiel gibt. Lass mich sagen, ich kann ein gutes Beispiel geben. Mein Lieblingsbeispiel ist The Wizard of Oz. Es ist auf jeden Fall mein Lieblingsbeispiel. Wie viele von euch haben The Wizard of Oz gesehen? Wie viele von euch haben das Buch gelesen? Wie viele von euch haben das Buch gelesen?

Genau. Und in der Tat wird es noch seltsamer. Es gibt 30 Bücher. 14 von ihnen wurden von Frank Baum geschrieben. 15 von ihnen wurden von dieser Frau Ruth Plumlee Johnson geschrieben. Und der 15. Buch ist die Ausgabe eines riesigen Literariers, der es geschrieben hat. Frank Baum starb, während dieses Buch geschrieben wurde.

Und so haben die Literarier-Kritiker einen langen Zeitraum verbracht, um dieses Buch zu lesen. Und sie konnten es nicht akzeptieren. Und 2002 gab es ein Artikel, 2002, denkt euch an, wie früh das ist, ein Artikel in diesem Magazin, das sagt, ich habe NLP gemacht, und ihr lest die Analyse, und es ist so klar, mit 100% Aufmerksamkeit, dass der Algorithmus sieht, dass bis zum 12.

Kapitel, es ist alles Baum, nach dem 12. Kapitel, es ist alles Ruth Plumlee Johnson. Wie kann es sein, dass ein Algorithmus mit so viel Klarheit etwas bemerkt, was die Menschen in unserem eigenen natürlichen Bereich nicht bemerkt haben? Und wir sehen das wieder und wieder. Algorithmen sind fantastisch bei der Anwendung von Signalen, die wir gar nicht bemerken konnten, weil sie Aggregate bemerken.

Sie haben keine Vorurteile, wie man Signale suchen kann. Für mich ist der ambitiöse Ziel der AI, Algorithmen zu finden, die uns helfen, zu bemerken. Ich liebte das, was du gesagt hast, dass man beim Scouten einen anderen Scout hat. Ich denke, Pablo, du nennst diese Phrase. Ich würde es lieben, wenn es einen anderen Scout gäbe, nicht von den Spielern, aber wie du es nennst, Selbst-Scouting.

Etwas, das mich scoutete.

Das ist ein bisschen anders. Was ich liebe, ist ein Modell von Daryl, das du siehst. Nein, nein, aber das du siehst und das dir sagt, hey, nur dir, hey, ich denke, das ist der Art von Situation, in der du oft das tust. Wie etwas, das dir hilft, Kandidaten-Biasse von dir zu bekommen. Und in einer Art, was ich darüber mag, ist, es muss nicht perfekt sein.

Wenn es 20 Prozent richtig war, was für eine Wertschätzung! Denn es wird die Art von Dingen bemerken, die wir nicht über dich bemerken könnten. Wenn du also Algorithmen denkst, wo du sie deploierst, um Dinge zu finden, die wir nicht suchen können, dann wird es einen riesigen Weg öffnen.

Ich liebe das Beispiel von Chess, weil es so viele Dinge klariert. Es gibt diesen Begriff, der ein wenig technisch ist, aber sehr hilfreich, der Closed-World-versus-Open-World-Problem heißt. Closed-World-Probleme sind die, wo alles spezifiziert ist. Sagen wir mal, dass Chess das entspricht. Ich komme zurück, wie Chess das auch nicht entspricht. Sagen wir mal, dass Chess das entspricht.

Alle Regeln sind bekannt, alle Objekte sind bekannt, alles ist da. Wir werden niemals ein Algorithmus in einem Closed-World-Problem gewinnen. Die Idee, dass wir es schießen werden, auf Grundlage von Regeln, auf Grundlage von Dingen, das ist verrückt. Ich meine, man kann einfach die Größe der Dinge kompensieren.

Und es gibt eine Analogie zu Closed-World-Problemen, wo Closed-World-Probleme, wo wir genug Daten haben, wiederum, wir werden keine Algorithmen schießen. Aber die meisten Phänomene in der Welt sind nicht wirklich Closed-World-Probleme, sie sind Open-World-Probleme. Was das bedeutet, ist, was sind die Dinge, die man tun kann? Die Bewegungen im Chess sind versichert.

Die Bewegungen im Leben sind nicht versichert. Und einige der geniesslichsten Ansätze von jemandem, der feststellt, hey, ich kann tatsächlich diesen Bewegung machen. Das ist eine nötige Sache, um das in dieser Situation zu tun. Gleichzeitig sind die Objekte nicht spezifiziert.