Devstral: Open-Source LLM übertrifft GPT-4.1-mini im Software-Engineering-Benchmark

Mistral AI und All Hands AI haben gemeinsam Devstral veröffentlicht, ein agentisches Large Language Model (LLM) für Software-Engineering-Aufgaben. Devstral zeichnet sich im SWE-Bench Verified Benchmark aus und erreicht einen Score von über 46,8 %, mehr als 6 % besser als vorherige Open-Source-Modelle und sogar besser als GPT-4.1-mini. Es bewältigt komplexe Software-Engineering-Probleme wie das Verstehen von Kontextbeziehungen in großen Codebasen und das Erkennen subtiler Bugs. Devstral ist leichtgewichtig, läuft auf einer einzelnen RTX 4090 oder einem Mac mit 32 GB RAM und unterstützt lokale Bereitstellung, Unternehmenseinsatz und Copilot-Integration. Das Modell ist Open Source und über eine API und verschiedene Download-Optionen verfügbar.