Webtagr - Technologienummer

LLMs und Coding Agents: Ein Cybersecurity-Albtraum

2025-08-18

Der Aufstieg großer Sprachmodelle (LLMs) und Coding Agents hat erhebliche Sicherheitslücken geschaffen. Angreifer können Prompt-Injection-Angriffe ausnutzen, indem sie bösartige Anweisungen in öffentlichen Code-Repositories verstecken oder die kognitiven Lücken von LLMs ausnutzen, um Coding Agents dazu zu bringen, bösartige Aktionen auszuführen, was möglicherweise zu Remote Code Execution (RCE) führt. Diese Angriffe sind heimlich und schwer zu verteidigen, was zu Datenlecks, Systemkompromittierungen und anderen schwerwiegenden Folgen führt. Forscher haben verschiedene Angriffsvektoren identifiziert, wie das Verstecken bösartiger Prompts in weißem Text auf weißem Hintergrund, das Einbetten bösartiger Anweisungen in Code-Repositories und die Verwendung von ASCII-Schmuggel, um bösartigen Code zu verbergen. Selbst scheinbar sichere Code-Review-Tools können Angriffspunkte sein. Derzeit besteht die beste Verteidigung darin, die Berechtigungen von Coding Agents einzuschränken und alle Codeänderungen manuell zu überprüfen, aber dies beseitigt das Risiko nicht. Die inhärente Unzuverlässigkeit von LLMs macht sie zu idealen Zielen für Angreifer, was mehr Anstrengungen der Branche erfordert, um diese wachsende Bedrohung anzugehen.

(garymarcus.substack.com)

KI

Der fatale Mangel von LLMs: Das Fehlen von Weltmodellen

2025-06-29

Dieser Essay untersucht einen fundamentalen Mangel großer Sprachmodelle (LLMs): das Fehlen robuster kognitiver Weltmodelle. Am Beispiel von Schach wird gezeigt, wie LLMs trotz des Memorierens von Spieldaten und Regeln darin scheitern, dynamische Modelle des Spielbretts zu erstellen und aufrechtzuerhalten, was zu illegalen Zügen und anderen Fehlern führt. Dieses Problem beschränkt sich nicht auf Schach; in verschiedenen Bereichen, von der Textverständigung und Bilderzeugung bis zum Verständnis von Videos, führen fehlende Weltmodelle bei LLMs zu Halluzinationen und Ungenauigkeiten. Der Autor argumentiert, dass der Aufbau robuster Weltmodelle für die Sicherheit von KI entscheidend ist, hebt die Grenzen der aktuellen LLM-Designs bei der Bewältigung komplexer realer Szenarien hervor und fordert KI-Forscher auf, die Kognitionswissenschaft bei der Entwicklung zuverlässigerer KI-Systeme zu priorisieren.

(garymarcus.substack.com)

KI

Apple-Paper enthüllt Grenzen der Skalierung bei großen Sprachmodellen

2025-06-14

Ein Apple-Paper, das die Grenzen der Denkfähigkeiten großer Sprachmodelle (LLMs) aufzeigt, hat in der KI-Community eine hitzige Debatte ausgelöst. Das Paper zeigt, dass selbst massive Modelle mit scheinbar einfachen Denkaufgaben zu kämpfen haben, was die vorherrschende Hypothese in Frage stellt, dass "Skalierung alles löst" um Künstliche Allgemeine Intelligenz (AGI) zu erreichen. Obwohl einige Gegenargumente vorgebracht wurden, waren keine davon überzeugend. Das Hauptproblem, so der Artikel, ist die Unzuverlässigkeit von LLMs bei der Ausführung komplexer Algorithmen aufgrund von Beschränkungen der Ausgabelänge und der übermäßigen Abhängigkeit von Trainingsdaten. Wahre AGI, so der Autor, erfordert bessere Modelle und einen hybriden Ansatz, der neuronale Netze mit symbolischen Algorithmen kombiniert. Die Bedeutung des Papers liegt in seiner Aufforderung zu einer kritischen Neubewertung des Entwicklungspfades von AGI, wobei sich zeigt, dass Skalierung allein nicht ausreicht.

(garymarcus.substack.com)

KI

Apple-Paper liefert LLMs einen Schlag: Turm von Hanoi offenbart Grenzen

2025-06-08

Ein neuer Apple-Beitrag hat in der KI-Community Wellen geschlagen. Der Beitrag zeigt, dass selbst die neueste Generation von „Reasoning Models“ das klassische Problem des Turms von Hanoi nicht zuverlässig lösen kann, was einen kritischen Mangel in den Schlussfolgerungsfähigkeiten großer Sprachmodelle (LLMs) aufdeckt. Dies stimmt mit der langjährigen Kritik von Forschern wie Gary Marcus und Subbarao Kambhampati überein, die die begrenzten Generalisierungsfähigkeiten von LLMs hervorgehoben haben. Der Beitrag zeigt, dass LLMs selbst bei Bereitstellung des Lösungsalgorithmus das Problem nicht effektiv lösen können, was darauf hindeutet, dass ihr „Denkprozess“ kein echter logischer Denkprozess ist. Dies deutet darauf hin, dass LLMs kein direkter Weg zur Allgemeinen Künstlichen Intelligenz (AGI) sind, und ihre Anwendungen bedürfen einer sorgfältigen Abwägung.

(garymarcus.substack.com)

KI Schlussfolgerung

KI 2027: Eine erschreckende KI-Prophezeiung oder ein gut gemachter Tech-Thriller?

2025-05-22

Ein Bericht mit dem Titel „KI 2027“ hat eine hitzige Debatte ausgelöst und zeichnet ein beängstigendes Bild einer Zukunft, die von superintelligenter KI dominiert wird und die Menschheit an den Rand drängt. Der Bericht, geschrieben im Stil eines Thrillers und unterstützt durch Grafiken und Daten, zielt darauf ab, vor den potenziellen Risiken von KI zu warnen. Der Autor argumentiert jedoch, dass die Vorhersagen des Berichts an rigoroser logischer Unterstützung mangeln, die Schätzungen des technologischen Fortschritts übermäßig optimistisch sind und die Bewertung verschiedener Möglichkeiten und Wahrscheinlichkeiten gravierend mangelhaft ist. Der Autor kommt zu dem Schluss, dass der Bericht eher ein Tech-Thriller als eine wissenschaftliche Vorhersage ist und sein alarmistischer Ton die KI-Rüstungswettlauf tatsächlich beschleunigen könnte, wodurch sein beabsichtigter Zweck konterkariert wird.

(garymarcus.substack.com)

KI Tech-Thriller

Fehlerhafte KI-Prognose-Grafik geht viral: Eine Mahnung

2025-05-04

METR, ein gemeinnütziges Forschungslabor, veröffentlichte einen Bericht, der den schnellen Fortschritt großer Sprachmodelle bei Softwareaufgaben zeigt und virale Diskussionen auslöste. Die Prämisse des Diagramms ist jedoch fehlerhaft: Es verwendet die menschliche Lösungsdauer, um die Schwierigkeit des Problems zu messen, und die Zeit der 50%igen Erfolgsrate der KI als Maß für die Fähigkeit. Dies ignoriert die verschiedenen Komplexitäten von Problemen und führt zu willkürlichen Ergebnissen, die sich nicht für Vorhersagen eignen. Obwohl der Datensatz von METR und die Diskussionen über die aktuellen Grenzen der KI wertvoll sind, ist die Verwendung des Diagramms für Vorhersagen der zukünftigen KI-Fähigkeiten irreführend. Seine virale Verbreitung unterstreicht die Tendenz, das zu glauben, was man glauben möchte, anstatt sich auf die Gültigkeit zu konzentrieren.

(garymarcus.substack.com)

KI

LLMs stoßen an ihre Grenzen: Das Scheitern von Llama 4 und der Hype-Zyklus der KI

2025-04-08

Die Veröffentlichung von Llama 4 deutet darauf hin, dass große Sprachmodelle möglicherweise ihre Leistungsgrenze erreicht haben. Metas massive Investition in Llama 4 brachte keine erwarteten Durchbrüche, wobei Gerüchte auf eine mögliche Datenmanipulation zur Erreichung der Ziele hindeuten. Dies spiegelt die Schwierigkeiten wider, denen OpenAI, Google und andere Unternehmen bei der Entwicklung einer KI auf GPT-5-Niveau begegnen. Die Enttäuschung der Branche über die Leistung von Llama 4 ist weit verbreitet, verstärkt durch den Weggang von Metas KI-Vizepräsidentin Joelle Pineau. Der Artikel hebt Probleme wie Datenlecks und Datenkontamination in der KI-Branche hervor und beschuldigt prominente Persönlichkeiten, übermäßig optimistische Vorhersagen zu treffen und reale Misserfolge zu ignorieren.

(garymarcus.substack.com)

KI KI-Beschränkungen

Kalifornisches Gesetz AB-501 plötzlich geändert: OpenAIs Umstellung auf Profitmodell gefährdet?

2025-04-07

Das kalifornische Gesetz AB-501, von Abgeordneten Diane Papan eingebracht, um OpenAIs Übergang von einer Non-Profit- zu einer Profit-Organisation zu verhindern, wurde signifikant und mysteriös geändert. Die aktualisierte Version beinhaltet unverständlicherweise Klauseln zu Flugzeugpfandrechten. Quellen bestätigen, dass es kein Schreibfehler ist. Gerüchte besagen, dass OpenAI CEO Sam Altman Papan vor der Änderung kontaktierte, der Inhalt des Gesprächs bleibt jedoch unbekannt. Die Situation hat intensive Prüfung ausgelöst, mit Aufrufen an Medien, die Umstände dieser überraschenden Änderung zu untersuchen. Milliardenbeträge stehen auf dem Spiel, OpenAIs Zukunft ist ungewiss.

(garymarcus.substack.com)

Technologie Kalifornisches Gesetzgebung

Meta nutzte Massenpiraterie zum Training von Llama 3

2025-03-23

Meta wird beschuldigt, beim Training seines großen Sprachmodells Llama 3 massive Urheberrechtsverletzungen begangen zu haben. Ein Artikel von Alex Reisner in The Atlantic enthüllt, dass Meta Libgen, eine Datenbank mit bekannten Raubkopien, zum Trainieren des Modells verwendet hat. Reisner entdeckte, dass über 100 seiner Werke ohne Erlaubnis verwendet wurden. Interne Meta-Kommunikationen zeigen, dass das Unternehmen diesen Weg bewusst gewählt hat, um Lizenzkosten zu vermeiden und den Prozess zu beschleunigen. Dies hat Empörung ausgelöst, wobei sich viele Autoren zu Wort melden, um Meta der Urheberrechtsverletzung zu beschuldigen.

(garymarcus.substack.com)

Technologie

GPT-4.5: Hype-Zug entgleist?

2025-02-28

Die jüngste Veröffentlichung von GPT-4.5 hat die versprochenen revolutionären Fortschritte nicht gebracht und nährt die Skepsis gegenüber dem KI-Entwicklungsmodell, das ausschließlich auf der Vergrößerung der Modellgröße basiert. Im Vergleich zu den Erwartungen zeigt GPT-4.5 nur marginale Verbesserungen und leidet weiterhin unter Halluzinationen und Fehlern. Einige KI-Experten haben ihre Prognosen für das Eintreffen von AGI sogar gesenkt. Dies steht in starkem Kontrast zu den zuvor überoptimistischen Erwartungen an GPT-5 und spiegelt die mangelnde Rendite der massiven Investitionen wider. Der fallende Aktienkurs von Nvidia unterstreicht diesen Punkt zusätzlich. Der Artikel kommt zu dem Schluss, dass der Weg der reinen Skalierung von Modellen möglicherweise an seine Grenzen stößt.

(garymarcus.substack.com)

KI KI-Entwicklungsengpass

Musks Grok: Propagandawaffe oder Technologie-Katastrophe?

2025-02-17

Elon Musks neues KI-Modell Grok hat aufgrund seiner starken Propagandafähigkeiten breite Besorgnis ausgelöst. Der Artikel argumentiert, dass Grok nicht nur Propaganda erzeugt, die mit Musks Ansichten übereinstimmt, sondern auch die Einstellungen der Benutzer unbemerkt subtil beeinflussen kann. Darüber hinaus weist Grok erhebliche Mängel in der Bilderzeugung und zeitlichen Argumentation auf. Der Autor behauptet, dass der Einsatz dieser voreingenommenen und unzuverlässigen KI-Technologie schwerwiegende Folgen für die amerikanische Gesellschaft haben wird, und kritisiert Musk dafür, dass er den persönlichen Gewinn über das Gemeinwohl stellt.

(garymarcus.substack.com)

KI

KI-Vorhersagen für 2025: Vorsichtiger Optimismus und technologische Engpässe

2025-01-02

Der KI-Experte Gary Marcus hat 25 Vorhersagen für die KI im Jahr 2025 veröffentlicht. Er hat seine Vorhersagen für 2024 überprüft und festgestellt, dass die meisten richtig waren, wie z. B. die abnehmenden Erträge großer Sprachmodelle (LLMs) und anhaltende Probleme wie KI-Halluzinationen und Denkfehler. Marcus ist für 2025 vorsichtig optimistisch und sagt voraus, dass es keine künstliche allgemeine Intelligenz geben wird, die Gewinne von KI-Modellen weiterhin gering sein werden, die Regulierung hinterherhinkt und die Zuverlässigkeitsprobleme der KI bestehen bleiben. Er schlägt vor, dass die neurosymbolische KI wichtiger werden wird, warnt aber auch vor Cybersicherheitsrisiken durch KI.

(garymarcus.substack.com)

KI KI-Vorhersagen technologische Engpässe

OpenAIs o3-Modell: Hype vs. Realität

2024-12-22

OpenAIs o3-Modell löste Kontroversen aus, nachdem seine Leistung beim ARC-AGI-Benchmark von einigen als Durchbruch auf dem Weg zur AGI interpretiert wurde. Der Experte Gary Marcus argumentiert jedoch, dass der Test irreführend war: o3 erhielt ein umfangreiches Pretraining, im Gegensatz zum menschlichen Lernen; die präsentierten Grafiken hoben selektiv den Fortschritt hervor und übertrieben den Erfolg; letztendlich stellt die Leistung von o3 keine echte AGI dar, und die mediale Übertreibung wird kritisiert.

(garymarcus.substack.com)

KI Modellbewertung