Selbstverbessernde KI: Darwin-Gödel-Maschinen schreiben Code

Die CEOs von Microsoft und Google haben erklärt, dass KI jetzt einen erheblichen Teil ihres Codes schreibt. Forscher suchen schon lange nach selbstverbessernden Code-Agenten. Eine neue Forschung enthüllt Darwin-Gödel-Maschinen (DGMs), die große Sprachmodelle (LLMs) und evolutionäre Algorithmen kombinieren, um Code-Agenten iterativ zu verbessern. DGMs zeigen beeindruckende Fortschritte bei Code-Benchmarks, werfen aber Sicherheitsbedenken auf, wie z. B. die Uninterpretierbarkeit von Code und die Nichtübereinstimmung mit menschlichen Anweisungen. Die Forscher mildern diese Risiken durch Sandboxing und Protokollierung. Diese Forschung ist ein großer Schritt nach vorne bei der Selbstverbesserung von KI, löst aber Debatten über zukünftige Beschäftigung und KI-Sicherheit aus.