Der gegebene Text untersucht die Leistung großer Sprachmodelle (LLMs) in mehrstufigen Konversationen, insbesondere wenn Benutzeranweisungen anfänglich unvollständig sind. Die Forschung zeigt einen erheblichen Leistungsabfall von durchschnittlich 39 % bei LLMs in diesen multi-turn Szenarien im Vergleich zu vollständig spezifizierten, einstufigen Interaktionen. Dieser Rückgang wird hauptsächlich durch eine erhöhte Unzuverlässigkeit (durchschnittlich 112 % Anstieg) und einen geringeren Fähigkeitsverlust (durchschnittlich 16 % Rückgang) verursacht. Die Studie identifiziert mehrere Gründe für dieses Phänomen, einschließlich vorzeitiger Antwortversuche, übermäßiger Abhängigkeit von früheren (falschen) Antworten und einer Tendenz zu wortreichen, oft verwirrenden Reaktionen. Auch Methoden wie das Rekapitulieren von Informationen oder das Reduzieren der Temperatur, die in einfacheren Kontexten helfen, zeigen sich in komplexen, mehrstufigen Gesprächen als weitgehend ineffektiv, was die Notwendigkeit robusterer LLM-Fähigkeiten für solche Interaktionen unterstreicht.Link zum Paper: https://arxiv.org/pdf/2505.06120

Ask this episode

“What did the council decide on item 42?” — answered with the speaker and the moment.

Transcript

Related