Demonstrieren, warum KI keine hohen Leistungen erbringen kann

Überraschung Überraschung. Bei all der Aufregung und Besorgnis darüber, dass KI bald die menschliche Intelligenz erreichen oder sogar übertreffen könnte, stellt sich heraus, dass die KI seit den 1950er Jahren nur sehr geringe Fortschritte gemacht hat.

ChatGPT und ähnliche Chatbots, die auf den neuesten und besten Large Language Models basieren, schaffen es immer noch nicht – sie bestehen den semantischen Ambiguitätstest nicht.

Chatbot-Zeichen für Support-Service-Konzept.

In meinem vorherigen Beitrag über Yehoshua Bar-Hillel, einen Pionier der maschinellen Übersetzung in den frühen 1950er Jahren, habe ich die Geschichten erzählt, die er auf dem ersten jährlichen Symposium der American Society for Cybernetics im Jahr 1967 über die Zähmung von Löwen und Computern erzählte. Hillel nannte außerdem drei Anforderungen an „maschinelle Intelligenz“: Die Fähigkeit, Sprache zu manipulieren; Hintergrundwissen über die Welt haben; sowie Denk- und Rechenfähigkeiten, alles auf dem Niveau eines High-School-Absolventen. Der erforderliche Aufwand, um diese Voraussetzungen der künstlichen Intelligenz zu erreichen, wäre laut Bar-Hillel „unvergleichlich größer als der Aufwand, der erforderlich wäre, um den Menschen auf die Venus zu bringen.“

Fünfzehn Jahre zuvor war Bar-Hillel in seiner Eröffnungsrede auf der Konferenz über maschinelle Übersetzung, die er im Juni 1952 am MIT organisierte, viel optimistischer: „Selbst wenn sich herausstellen sollte, dass keine der möglichen Partnerschaften zwischen Maschine und Gehirn effektiver wäre.“ als ein menschlicher Übersetzer, in dem Sinne, dass sie unter den heute oder in naher Zukunft herrschenden Bedingungen weder schneller noch billiger noch genauer als der menschliche Übersetzer sein werden, würde ich eine Fortsetzung dieser Forschung nachdrücklich befürworten. Elektronische Maschinen werden zweifellos billiger, menschliche Gehirne wahrscheinlich teurer.“

1955 wurde Bar-Hillel jedoch sehr pessimistisch. In „A Demonstration of the Nonfeasibility of Fully Automatic High-Quality Translation“ schrieb er, dass hochwertige Übersetzungen durch Computer „nur ein Traum sind, der in absehbarer Zeit nicht wahr werden wird.“ Die maschinellen Übersetzungsforscher, die die „praktische Sinnlosigkeit dieses Ziels“ nicht erkennen, schrieb Bar-Hillel, führten ihre Sponsoren in die Irre, indem sie „mit einem teilweise automatisierten Übersetzungssystem, dessen Prinzipien heute gut verstanden werden, nicht zufrieden waren“ und sie stattdessen aufforderten, abzuwarten „Die Realität, von der man glaubte und glauben machte, dass sie gleich um die Ecke sei.“

Gleich um die Ecke, oder wie OpenAI kürzlich in einer Ankündigung sagte, könnte Superintelligenz-KI, „die einflussreichste Technologie, die die Menschheit je erfunden hat“, in diesem Jahrzehnt auf den Markt kommen und „zur Entmachtung der Menschheit oder sogar zum Aussterben der Menschheit führen“.

Das Beispiel, das Bar-Hillel in seinem Aufsatz verwendete, um die Sinnlosigkeit der Verwirklichung des Traums einer qualitativ hochwertigen maschinellen Übersetzung zu demonstrieren, war der folgende Satz:

Die Schachtel befand sich im Stift.

Und hier ist der sprachliche Kontext, aus dem dieser Satz stammt:

Little John suchte nach seiner Spielzeugkiste. Endlich hat er es gefunden. Die Schachtel befand sich im Stift. John war sehr glücklich.

Bar-Hillel erklärt dieses Beispiel semantischer Mehrdeutigkeit:

Nehmen wir der Einfachheit halber an, dass „pen“ im Englischen nur die folgenden zwei Bedeutungen hat: (1) ein bestimmtes Schreibgerät, (2) ein Bereich, in dem kleine Kinder spielen können. Ich behaupte nun, dass kein existierendes oder vorstellbares Programm es einem elektronischen Computer ermöglichen wird, festzustellen, dass das Wort Stift in dem gegebenen Satz im gegebenen Kontext die zweite der oben genannten Bedeutungen hat, wohingegen jeder Leser mit ausreichenden Englischkenntnissen dies „automatisch“ tun wird ."

Bei der Diskussion von Lösungsvorschlägen anderer maschineller Übersetzungsforscher sagt Bar-Hillel: „Es ist ein altes Vorurteil, aber dennoch ein Vorurteil, dass die Berücksichtigung einer ausreichend großen sprachlichen Umgebung als solche ausreicht, um die semantische Mehrdeutigkeit eines bestimmten Wortes zu verringern.“ ”

Nun, das war der Stand der Verarbeitung natürlicher Sprache (NLP) in den 1950er Jahren. Ich war mir jedoch absolut sicher, dass die heutigen Large Language Models (LLM), die auf unzähligen Texten trainiert wurden und in der Lage sind, diese (parallel) zu verarbeiten, den „linguistischen Kontext“ erfassen und ihn immer richtig hinbekommen würden.

Um den Stand der maschinellen Übersetzung BC (vor ChatGPT) besser zu verstehen, habe ich Google Translate (von dem ich annehme, dass es derzeit nicht vom neuesten LLM unterstützt wird) gebeten, Bar-Hillels Beispiel in zwei Sprachen, Hebräisch und Russisch, wiederzugeben. Google Translate übersetzt „den Stift“ im Sinne eines Schreibgeräts – in beiden Sprachen. „Die Schachtel war im Schreibgerät“ ist das, was in der Übersetzung verloren ging.

Aber was ist mit der jüngsten „Revolution“ dessen, was KI jetzt leisten kann (und was AGI „gleich um die Ecke“ tun wird)?

Bard, Googles Antwort auf ChatGPT, war nur geringfügig „besser“ als Google Translate. Für Bard befand sich die Box im Gehege im Sinne eines Tiergeheges.

Ich habe Bard den vollständigen Kontext für den Satz aus Bar-Hillels Aufsatz geliefert, aber immer noch „Tiergehege“ erhalten. Als ich protestierte, stellte Bard hilfreich Folgendes zur Verfügung:

Das ist richtig. Das hebräische Wort מכלאה (mikhla'ah) bedeutet „Einfassung, Stift, Falte“. Damit kann man sich auf ein kleines Gehege für Tiere beziehen, beispielsweise einen Hühnerstall oder einen Schweinestall. Es kann auch verwendet werden, um sich auf ein größeres Gehege wie einen Zoo oder ein Naturschutzgebiet zu beziehen. Im Kontext Ihres Satzes bezieht sich das Wort מכלאה auf ein kleines Gehege für Tiere. In dieser Anlage wurde die Kiste gefunden, weshalb in der Übersetzung das hebräische Wort מכלאה verwendet wird.

Die Verwendung von „Stift“ als kleiner Aufbewahrungsort (es ist die zweite Bedeutung des Wortes im Merriam-Webster-Wörterbuch, wobei Schreibgerät als vierte Bedeutung aufgeführt ist) und speziell für Kinderspielzeug wird aus dem gesamten sprachlichen Kontext deutlich Ich habe Bard zur Verfügung gestellt. Dennoch dachte ich, dass dieser Sinn vielleicht in den 1950er Jahren vorherrschender war als heute und dass Bard vielleicht faul war und nur auf neuere Texte schaute, und fragte Bard nach Beispielen aus der Literatur für „Stift“ als „einen Bereich, in dem kleine Kinder spielen können“.

In Sekundenschnelle hatte ich drei Bilder, die Cover von „The Secret Garden“, „Little Women“ und „The Adventures of Tom Sawyer“ sowie relevante Zitate aus diesen Büchern. Und diese Erklärung:

In diesen Beispielen bezieht sich das Wort „Stift“ auf einen kleinen, geschlossenen Bereich, in dem Kinder spielen können. Der Pferch ist normalerweise von einem Zaun oder einer anderen Art von Barriere umgeben und oft mit Spielzeug, Spielen oder anderen Aktivitäten gefüllt, die Kindern Spaß machen.

Das Wissen ist vorhanden, aber Bard hat die Zusammenhänge nicht verstanden.

Warum? Hier ist, was Bar-Hillel 1955 sagte:

Was einen intelligenten menschlichen Leser dazu bringt, diese Bedeutung so ohne zu zögern zu erfassen, ist…. sein Wissen, dass die relativen Größen von Stiften im Sinne von Schreibgeräten, Spielzeugkisten und Stiften im Sinne von Laufställen so sind, dass, wenn jemand unter normalen Umständen und in etwas wie dem gegebenen Kontext schreibt: „Der Kasten war drin.“ „Der Stift“ bezieht er sich mit ziemlicher Sicherheit auf einen Laufstall und ganz sicher nicht auf einen Schreibstift. Dieses Wissen steht dem elektronischen Computer nicht zur Verfügung und keines der Wörterbücher oder Programme zur Beseitigung der Polysemie stellt ihm dieses Wissen zur Verfügung.

Die heutige KI verfügt noch nicht über die Weltkenntnis auf dem Niveau eines Dreijährigen. LLMs sind ein kleiner Schritt für den Menschen, aber kein großer Sprung für die Menschheit.

Ein Mann, Terry Winograd, machte Ende der 1960er Jahre einen kleinen Schritt auf dem sehr langen und schwierigen Weg der Verarbeitung natürlicher Sprache. Wie Bar-Hillel wurde er innerhalb weniger Jahre, nachdem er einen Computer gezähmt hatte, um an einem Gespräch teilzunehmen, zu einem „hochkarätigen Deserteur aus der Welt der KI“, wie John Markoff es ausdrückte.

Im nächsten Beitrag werde ich über Winograd und die Winograd Schema Challenge sprechen, einen neuen „Turing-Test“, der die Kompetenz der KI im Umgang mit semantischer Mehrdeutigkeit überprüfen soll und wie gut heutige KI-Programme die Welt verstehen – oder nicht verstehen. Kann ChatGPT den Test bestehen?