Webtagr - Technologienummer

KI-Agent basierend auf Bayes'scher Inferenz erzielt Durchbruch bei Atari 10k Challenge

2025-01-26

Die VERSES KI-Engine Genius erzielte einen bedeutenden Durchbruch bei der Atari 10k Challenge. Im Vergleich zu führenden KI-Modellen, die auf Deep Reinforcement Learning basieren, erreichte Genius mit nur 10% der Daten und deutlich weniger Rechenleistung in mehreren Atari-Spielen ein menschliches oder sogar übermenschliches Leistungsniveau. Dies ist seiner einzigartigen Architektur aus Bayes'scher Inferenz und Active Inference zu verdanken, die eine überlegene Stichproben-Effizienz und kontinuierliches Lernen ermöglicht. Dies stellt einen wichtigen Schritt hin zu einer hocheffizienten, zuverlässigen und erklärbaren KI dar.

(www.verses.ai)

KI Bayes'sche Inferenz Atari Spiele

Open-Source-Modell R1 revolutioniert die KI-Welt: Beschleunigte Entwicklung!

2025-01-26

Die KI-Landschaft explodiert mit neuen Modellen. Das Open-Source-Reasoning-Modell R1 von DeepSeek erreicht die Leistung des Closed-Source-Modells o1 von OpenAI, jedoch zu einem Bruchteil der Kosten und sendet Schockwellen durch die Branche. R1 validiert die Ansätze o1 und o3 von OpenAI und offenbart neue Trends: die verringerte Bedeutung des Pretrainings und das Aufkommen von Inferenzzeit-Skalierungsgesetzen, Modellverkleinerung, Reinforcement-Learning-Skalierungsgesetzen und Modelldestillations-Skalierungsgesetzen, die alle die KI-Entwicklung beschleunigen. Der Open-Source-Charakter von R1 verschärft den Wettbewerb zwischen den USA und China und unterstreicht die massiven geopolitischen Auswirkungen des rasanten Fortschritts der KI.

(timkellogg.me)

KI Reasoning-Modell

Der Aufstieg von KI-Müll: Wie man sich wehrt und profitiert

2025-01-26

Der Blogger Ben Congdon beobachtet die zunehmende Verbreitung von minderwertigen KI-generierten Inhalten, die er als „KI-Müll“ bezeichnet, im Internet. Obwohl diese Inhalte auf den ersten Blick überzeugend wirken können, zeigt eine genauere Betrachtung ihren formelhaften Charakter und Mangel an Originalität. Er rät davon ab, KI-generierte Inhalte direkt zu kopieren und einzufügen, und schlägt vor, KI-Tools als Unterstützung zu nutzen, aber sorgfältig zu bearbeiten und eine einzigartige persönliche Stimme zu bewahren. Er argumentiert weiter, dass die Erstellung hochwertiger Inhalte und der Aufbau einer persönlichen Marke entscheidend sind, um im Zeitalter der KI wettbewerbsfähig zu bleiben, und dass die Beeinflussung von KI-Trainingsdatensätzen sogar die zukünftige Richtung der KI prägen kann.

(benjamincongdon.me)

KI

Der selbsternannte „erste KI-Softwareentwickler“ scheitert kläglich bei realen Tests

2025-01-26

Devin, vermarktet als der erste KI-Softwareentwickler, hat bei jüngsten Bewertungen die Erwartungen nicht erfüllt. Trotz Behauptungen, Anwendungen von Anfang bis Ende zu bauen und Fehler autonom zu beheben, hat Devin nur 3 von 20 Aufgaben erfolgreich abgeschlossen. Tester stellten fest, dass Devin mit einfachen Aufgaben zu kämpfen hatte, in technischen Sackgassen landete und unmögliche Lösungen verfolgte. Obwohl er eine ausgefeilte Benutzererfahrung bietet, zeigen sein seltener Erfolg und seine Tendenz, Zeit mit unerreichbaren Zielen zu verschwenden, die Grenzen der aktuellen KI-Technologie auf und wecken Bedenken hinsichtlich des Hypes um KI-Tools.

(www.theregister.com)

KI KI-Softwareentwickler Testergebnisse

Anomale Tokens in DeepSeek: Ein Katalog von Fehlern

2025-01-25

Ein Forscher hat eine Reihe von „anomalen Tokens“ im Open-Source-Sprachmodell DeepSeek-V3 und r1 entdeckt. Diese Tokens führen zu bizarre Ergebnissen, wenn sie eingegeben werden, z. B. werden Wörter durch ungewöhnliche Unicode-Zeichen, Akronyme oder Emojis ersetzt. Der Forscher testete systematisch jedes Token aus dem DeepSeek-Wortschatz und identifizierte und kategorisierte diese Fehler. Einige Tokens, sogenannte „Fragment-Tokens“, zeigen nur in bestimmten Kontexten Anomalien. Andere, wie „Nameeee“ und „EDMFunc“, produzieren konsistent ungewöhnliche Ersetzungen. „Nameeee“ ergibt häufig Wörter oder Symbole im Zusammenhang mit „M“, während „EDMFunc“ Wörter bevorzugt, die mit „H“ beginnen, und japanische Namen. Es wurden auch zahlreiche nicht-englische anomale Tokens gefunden, hauptsächlich aus dem Cebuano und anderen philippinischen Sprachen. Spezielle Tokens wie „<｜end of thinking｜>“ können die Funktionalität des Modells zusätzlich stören. Diese Forschung liefert wertvolle Einblicke in die Funktionsweise von LLMs und ebnet den Weg für zukünftige Untersuchungen.

(outsidetext.substack.com)

KI Anomale Tokens

Bau eines Silizium-Gehirns: Die Zukunft der Neurowissenschaften

2025-01-25

Forscher der UCSF verwenden KI und modernste Neuroimaging-Technologien, um ein „Silizium-Gehirn“ zu bauen, das die Aktivität des menschlichen Gehirns imitiert. Durch die Integration von Daten aus verschiedenen Gehirn-Scan-Techniken (wie fMRI und Neuropixel-Sonden) sowie Text-, Sprach- und Verhaltensdaten erstellen sie ein künstliches neuronales Netzwerk, das menschliche Gehirnaktivitätsmuster reproduziert. Diese Forschung verspricht, Gehirn-Computer-Schnittstellen zu revolutionieren, indem sie Geräte ermöglicht, die Sprache oder Bewegung ohne umfangreiche Kalibrierung wiederherstellen und neue Wege für die Diagnose und Behandlung neuropsychiatrischer Erkrankungen eröffnen. Ethische Überlegungen, wie Datenschutz und potenzieller Missbrauch, werden ebenfalls berücksichtigt.

(magazine.ucsf.edu)

KI Gehirn-Computer-Schnittstellen

DeepSeek-R1: Förderung der Denkfähigkeit in LLMs durch Reinforcement Learning

2025-01-25

DeepSeek-AI präsentiert seine erste Generation von Denkmodellen, DeepSeek-R1-Zero und DeepSeek-R1. DeepSeek-R1-Zero, ein Modell, das durch Reinforcement Learning (RL) im großen Maßstab ohne vorheriges Supervised Fine-Tuning (SFT) trainiert wurde, zeigt bemerkenswerte Denkfähigkeiten. Durch RL entwickelt DeepSeek-R1-Zero von selbst zahlreiche leistungsstarke und interessante Denkverhalten. Es stößt jedoch auf Herausforderungen wie schlechte Lesbarkeit und Sprachmischung. Um diese Probleme zu lösen und die Denkfähigkeit weiter zu verbessern, präsentieren wir DeepSeek-R1, das mehrstufiges Training und Kaltstartdaten vor dem RL integriert. DeepSeek-R1 erreicht eine vergleichbare Leistung wie OpenAI-o1-1217 bei Denkaufgaben. Um die Forschungsgemeinschaft zu unterstützen, veröffentlichen wir DeepSeek-R1-Zero, DeepSeek-R1 und sechs destillierte dichte Modelle (1.5B, 7B, 8B, 14B, 32B, 70B) basierend auf Qwen und Llama als Open Source.

(arxiv.org)

KI Denkfähigkeit

Warum Ihr KI-Produktteam einen KI-Qualitätsverantwortlichen braucht

2025-01-25

Der Erfolg von Help Scout unterstreicht die entscheidende Notwendigkeit eines "KI-Qualitätsverantwortlichen" in KI-Produktteams. Diese Rolle überbrückt die Lücke zwischen Domänenexpertise und KI-Entwicklung und wird in der Regel von Domänenexperten ausgefüllt, die dann generative KI-Fähigkeiten wie Prompt Engineering und Evaluierung erlernen. Zu den Aufgaben gehören die Überprüfung von Produktionsdaten, die Definition von Bewertungskriterien, die Verwaltung von Testdatensätzen, die Verbesserung von Prompts und die Schulung von Teammitgliedern. Diese Rolle beschleunigt die Markteinführung, erhöht das Vertrauen in Leistungsmetriken und verkürzt Feedbackschleifen. Selbst ohne Expertise in generativer KI können Domänenexperten mit einem tiefen Verständnis der Kundenbedürfnisse, systematischen Problemlösungsfähigkeiten und starken Kommunikationsfähigkeiten in dieser Position erfolgreich sein.

(freeplay.ai)

KI KI-Qualität KI-Teams Domänenexpertise

Arsenal FC sucht KI-Forschungsingenieur zur Revolutionierung der Fußballanalyse

2025-01-25

Der Arsenal Football Club sucht einen hochqualifizierten Forschungsingenieur, der KI und Deep Learning für modernste Fußballanalysen einsetzt. Der ideale Kandidat verfügt über Expertise in Deep-Learning-Techniken (Transformers, Diffusionsmodelle usw.), verarbeitet diverse Datensätze (Bilder, Videos, Text) und arbeitet mit Softwareentwicklern, UX-Designern und Fußballanalysten zusammen, um wirkungsvolle Anwendungen zu erstellen. Diese Position bietet die Möglichkeit, in verschiedenen Bereichen des Clubs mitzuwirken, von der Spielersuche bis zur Spielvorbereitung, und den Erfolg auf dem Platz durch einen datengetriebenen Ansatz voranzutreiben.

(careers.arsenal.com)

KI Fußballanalyse

TinyZero: Kostengünstiges Freischalten des logischen Denkens in LLMs

2025-01-25

Das TinyZero-Projekt demonstriert, wie man großen Sprachmodellen (LLMs) kostengünstig Fähigkeiten zur Selbstüberprüfung und Suche verleiht, indem man Reinforcement Learning verwendet. Aufgebaut auf veRL und mit Experimenten zur Qwen2.5-Serie, bietet TinyZero detaillierte Anweisungen für Installation, Datenaufbereitung und Training. Selbst kleinere Modelle können anspruchsvolle Schlussfolgerungen ziehen. Das Projekt zeigt die Machbarkeit der Verbesserung von LLMs mittels RL und bietet einen neuen Ansatz für kosteneffiziente KI-Forschung.

(github.com)

KI Kostengünstige KI

Onit: Ihr lokaler KI-Chat-Assistent

2025-01-24

Onit ist ein Open-Source KI-Chat-Assistent, der auf Ihrem Desktop läuft! Ähnlich wie ChatGPT Desktop, aber mit lokalem Modus und Unterstützung für mehrere Modellanbieter (Anthropic, Google AI, xAI usw.). Man kann es sich wie Cursor Chat vorstellen, aber überall auf Ihrem Computer verfügbar, nicht nur in Ihrer IDE. Hauptfunktionen sind der lokale Modus (über Ollama), die Unterstützung mehrerer Anbieter (OpenAI, Anthropic, xAI usw.), das Hochladen von Dateien, der Chatverlauf und anpassbare Tastenkombinationen. Zukünftige Pläne umfassen Autokontext, lokales RAG und lokale Autovervollständigung. Onit priorisiert universellen Zugriff, Anbieterauswahl, einen lokalen Ansatz, Anpassbarkeit und Erweiterbarkeit.

(github.com)

KI KI-Assistent lokaler Modus Mehrmodell-Unterstützung

Physik deckt kritische Wendepunkte in Schachspielen auf

2025-01-24

Der Physiker Marc Barthelemy analysierte über 20.000 hochrangige Schachpartien mithilfe von Interaktionsgraphen, um entscheidende Wendepunkte zu identifizieren. Er behandelte Schach als komplexes System und maß die „Betweenness-Zentralität“ und „Fragilitätsscores“ von Schachfiguren, um Spielausgänge vorherzusagen. Der Fragilitätsscore wichtiger Figuren steigt etwa acht Züge vor einem kritischen Wendepunkt an und bleibt etwa 15 Züge danach hoch, wobei ein universelles Muster über Spieler und Eröffnungen hinweg sichtbar wird. Diese Forschung bietet neue Einblicke in die komplexe Dynamik von Schach und eröffnet neue Wege für KI und maschinelles Lernen.

(arstechnica.com)

KI komplexe Systeme

Eine bessere Zukunft mit „plausibler Fiktion“ gestalten

2025-01-24

Dieser Artikel schlägt einen neuen Ansatz namens „plausible Fiktion“ vor, um reale Probleme anzugehen, indem glaubwürdige Erzählungen konstruiert werden, die die Lücke zwischen unserer Gegenwart und einer gewünschten Zukunft schließen. Der Autor argumentiert, dass die kollektive Beteiligung am Ausfüllen der Lücken in diesen Erzählungen Fiktion in Realität verwandeln kann. Dieser Prozess ähnelt einer Form der kollektiven Vorhersage und Kreation, die möglicherweise mathematische Werkzeuge wie die angewandte Kategorientheorie nutzt. Der Artikel verwendet eine hypothetische Plattform, FutureForge, um zu veranschaulichen, wie Gamification und Anreizmechanismen eine breitere Beteiligung fördern und letztendlich zu einer besseren Zukunft führen können.

(topos.institute)

KI Zukunftsvorhersage angewandte Kategorientheorie kollaborative Kreation

Open WebUI: Vereinfachter Zugriff auf große Sprachmodelle

2025-01-23

Open WebUI ist ein Open-Source-Projekt, das die Benutzerinteraktion mit großen Sprachmodellen (LLMs) vereinfacht. Es bietet eine benutzerfreundliche grafische Oberfläche, die es auch Nicht-Technikern ermöglicht, die leistungsstarken Funktionen von LLMs wie Textgenerierung, Übersetzung und Fragebeantwortung einfach zu nutzen. Ohne komplexe Kommandozeilenoperationen oder Programmierkenntnisse senkt Open WebUI die Einstiegshürde für LLMs und öffnet die Welt der KI für ein breiteres Publikum.

(polychat.co)

KI Grafische Benutzeroberfläche

Anthropic Claude API bietet jetzt Zitate für verifizierbare Antworten

2025-01-23

Anthropic hat Zitate eingeführt, eine neue API-Funktion für Claude, die es ermöglicht, präzise Sätze und Passagen aus Quelldokumenten in den Antworten zu zitieren. Dies verbessert die Verifizierbarkeit und Vertrauenswürdigkeit der Ausgaben von Claude erheblich. Anwendungen reichen von der Dokumentenzusammenfassung und komplexen Fragen und Antworten bis hin zum Kundensupport und bieten höhere Genauigkeit und Effizienz bei gleichzeitiger Minimierung des Risikos von KI-Halluzinationen. Frühzeitige Anwender wie Thomson Reuters und Endex haben über erhebliche Verbesserungen bei Genauigkeit und Workflow berichtet.

(www.anthropic.com)

KI Verlässliche KI

Die letzte Prüfung der Menschheit: Ein neuer Benchmark für KI

2025-01-23

Scale AI und das Center for AI Safety (CAIS) haben die Ergebnisse der "Letzten Prüfung der Menschheit" veröffentlicht, einem neuen Benchmark, der entwickelt wurde, um die Grenzen des KI-Wissens zu testen. Mit über 3.000 Fragen auf Expertenniveau in verschiedenen Bereichen zeigte sich, dass selbst die fortschrittlichsten KI-Modelle (wie GPT-4, Claude 3.5 und Gemini 1.5) weniger als 10 % der Fragen richtig beantwortet haben. Dies unterstreicht erhebliche Lücken in den Fähigkeiten des komplexen Denkens. Der Benchmark geht das Problem der 'Benchmark-Sättigung' an, bei der Modelle in bestehenden Tests hervorragend abschneiden, aber mit neuen Problemen zu kämpfen haben. Der Datensatz wird öffentlich zugänglich gemacht, um die KI-Forschung und -Entwicklung voranzutreiben und wertvolle Einblicke in den aktuellen Stand und die zukünftige Richtung der KI zu liefern.

(scale.com)

KI KI-Benchmark

KI-Fehler: Anders als menschliche Fehler, schwerer vorherzusagen

2025-01-23

Im Gegensatz zu menschlichen Fehlern sind Fehler von großen Sprachmodellen (LLMs) zufällig, nicht geclustert und werden mit hoher Zuversicht begangen. Dieser Artikel untersucht die einzigartigen Eigenschaften von LLM-Fehlern und schlägt zwei Strategien vor: die Entwicklung menschenähnlicherer LLMs und den Aufbau neuer Fehlerkorrektursysteme. Die aktuelle Forschung konzentriert sich auf Techniken wie Reinforcement Learning mit menschlichem Feedback und Methoden wie wiederholtes Fragen, um die Zuverlässigkeit von KI zu verbessern. Obwohl einige Eigenheiten von LLMs menschliches Verhalten widerspiegeln, übersteigen ihre Häufigkeit und Schwere die menschlichen Fehlerraten bei weitem, was eine vorsichtige Anwendung von KI-Entscheidungssystemen und die Beschränkung ihrer Anwendung auf geeignete Bereiche erfordert.

(www.schneier.com)

KI KI-Fehler

DeepSeek V3: Spitzenleistung mit begrenzten Ressourcen

2025-01-23

Das neue DeepSeek V3-Modell, trainiert auf nur 2048 H800-GPUs – ein Bruchteil der Ressourcen, die von Giganten wie OpenAI verwendet werden – erreicht oder übertrifft GPT-4 und Claude in mehreren Benchmarks. Die Trainingskosten von 5,5 Millionen US-Dollar sind deutlich geringer als die geschätzten 40 Millionen US-Dollar für GPT-4. Dieser Erfolg, der teilweise auf den US-amerikanischen Exportkontrollen beruht, die den Zugang zu High-End-GPUs einschränken, unterstreicht das Potenzial für Architekturinnovation und Algorithmusoptimierung gegenüber reiner Rechenleistung. Es ist ein überzeugendes Argument dafür, dass Ressourcenbeschränkungen paradoxerweise bahnbrechende Fortschritte in der KI-Entwicklung vorantreiben können.

(www.vincentschmalbach.com)

KI KI-Modelltraining GPU-Beschränkungen Recheneffizienz

Automatische Katalogisierung meiner Spielesammlung mit KI: Ein technischer Deep Dive

2025-01-23

Der Autor verwendet das neueste Open-Source-KI-Modell Qwen2-VL Instruct, um seine Spielesammlung automatisch durch Fotografieren zu katalogisieren. Der Artikel beschreibt den gesamten Prozess, von der Aufnahme und dem Hochladen von Bildern bis zur Spielerkennung, Datenextraktion und Speicherung. Er geht auf die Modellwahl, den Kompromiss zwischen Bildauflösung und Genauigkeit/Rechenzeit und den Einfluss der Bildausrichtung auf die Ergebnisse ein. Der Autor legt sich auf 762x762 Pixel als optimale Auflösung fest und plant einen Folgeartikel zur Zuordnung der erkannten Spiele zu realen Daten.

(medium.com)

KI

Grundlagen großer Sprachmodelle: Ein neues Buch entschlüsselt Kernkonzepte

2025-01-23

Ein neues Buch, "Grundlagen großer Sprachmodelle", wurde veröffentlicht. Anstatt eine umfassende Abdeckung modernster Technologien anzustreben, befasst es sich eingehend mit den grundlegenden Kernkonzepten großer Sprachmodelle. Strukturiert in vier Kapitel, die Pretraining, generative Modelle, Prompting-Techniken und Alignment-Methoden behandeln, richtet sich das Buch an Studenten, Fachleute und Praktiker im Bereich der Verarbeitung natürlicher Sprache und verwandter Gebiete. Es dient als wertvolle Referenz für alle, die sich für große Sprachmodelle interessieren.

(arxiv.org)

KI Verarbeitung natürlicher Sprache

Verlustfreie Komprimierung von Vektor-IDs verbessert die approximative Nearest-Neighbor-Suche

2025-01-23

Forscher stellen ein verlustfreies Komprimierungsschema für Vektor-IDs vor, um die hohen Speicherkosten von Indizes bei der approximativen Nearest-Neighbor-Suche zu adressieren. Sie nutzen die Tatsache aus, dass die Reihenfolge der IDs in vielen Indexstrukturen irrelevant ist, und verwenden asymmetrische Zahlensysteme oder Wavelet-Bäume. Die Methode erreicht eine bis zu 7-fache Komprimierung der Vektor-IDs ohne Beeinträchtigung der Genauigkeit oder der Suchlaufzeit. Dies führt zu einer Reduzierung der Indexgröße um 30 % bei Datensätzen im Milliardenbereich. Darüber hinaus kann der Ansatz auch quantisierte Vektorcodes verlustfrei komprimieren, indem er Suboptimalitäten im ursprünglichen Quantisierungsalgorithmus ausnutzt.

(arxiv.org)

KI Approximative Nearest-Neighbor-Suche Vektor-Komprimierung Verlustfreie Komprimierung

Lösen von Problemen der Computerwissenschaft mit KI: Physik-informierte neuronale Netze (PINNs)

2025-01-22

Dieser Artikel untersucht die Verwendung von physik-informierten neuronalen Netzen (PINNs), um herausfordernde Probleme in der Computerwissenschaft zu lösen, insbesondere partielle Differentialgleichungen (PDGL). PINNs überwinden die Einschränkungen traditioneller numerischer Methoden, indem sie physikalische Gesetze direkt in die Verlustfunktion des neuronalen Netzes integrieren. Dies behebt Probleme wie unzureichende Daten, hohe Rechenkosten und schlechte Generalisierung. Der Artikel erklärt PDGL, partielle Ableitungen und demonstriert die Implementierung von PINNs anhand der 2D-Wärmegleichung, wobei die Netzwerkarchitektur, die Definition der Verlustfunktion und das Training behandelt werden. Die Ergebnisse zeigen, dass PINNs die Wärmeausbreitung präzise und effizient modellieren und ein leistungsstarkes Werkzeug für verschiedene wissenschaftliche und technische Herausforderungen darstellen.

(mertkavi.com)

KI PDGL

Führe lokale LLMs in deinem Browser aus: Einführung von BrowserAI

2025-01-22

BrowserAI ist ein Open-Source-Projekt, mit dem du große Sprachmodelle (LLMs) lokal in deinem Browser ausführen kannst. Datenschutz wird priorisiert, die gesamte Verarbeitung findet auf deinem Gerät statt, wodurch Serverkosten und komplexe Infrastruktur entfallen. Es unterstützt mehrere Modelle, darunter MLC und Transformers, und nutzt WebGPU für blitzschnelle Inferenz. Eine einfache API ermöglicht Entwicklern die einfache Integration von Textgenerierung, Spracherkennung und Text-zu-Sprache. Viele Modelle werden bereits unterstützt, und ein Roadmap beschreibt zukünftige Verbesserungen wie erweiterte RAG-Funktionen und Unternehmensfunktionen.

(github.com)

KI

Infinigen: Unendlicher Generator fotorealistischer 3D-Szenen

2025-01-22

Entwickelt vom Princeton Vision & Learning Lab, ist Infinigen ein prozeduraler Generator von 3D-Szenen, basierend auf Blender und unter der BSD 3-Clause Lizenz frei verfügbar. Er generiert unbegrenzte Variationen hochwertiger 3D-Szenen mithilfe randomisierter mathematischer Regeln und steuert alles von Makrostrukturen bis hin zu Mikrodetails. Infinigen generiert automatisch Annotationen für verschiedene Computer-Vision-Aufgaben wie optischen Fluss und Tiefenabschätzung, was ihn ideal für die 3D-Vision-Forschung macht. Der Fokus auf reale Geometrie gewährleistet präzise Ground-Truth-Daten.

(infinigen.org)

KI 3D-Szenerzeugung

Tensorprodukt-Attention: Alles, was Sie brauchen

2025-01-22

Die Skalierung von Sprachmodellen zur Verarbeitung längerer Eingabefolgen erfordert in der Regel große Schlüssel-Wert-Caches (KV-Caches), was zu einem erheblichen Speicheraufwand während der Inferenz führt. In diesem Artikel wird die Tensorprodukt-Attention (TPA) vorgestellt, ein neuartiger Aufmerksamkeitsmechanismus, der Tensorzerlegungen verwendet, um Abfragen, Schlüssel und Werte kompakt darzustellen und so die Größe des KV-Caches während der Inferenz deutlich zu reduzieren. Durch die Faktorisierung dieser Darstellungen in kontextbezogene niederdimensionale Komponenten (kontextuelle Faktorisierung) und die nahtlose Integration mit RoPE verbessert TPA die Modellqualität bei gleichzeitiger Beibehaltung der Speichereffizienz. Basierend auf TPA stellen die Autoren den Tensorprodukt-Attention-Transformer (T6) vor, eine neue Modellarchitektur für die Sequenzmodellierung. Umfangreiche empirische Evaluierungen bei Sprachmodellierungsaufgaben zeigen, dass T6 Standard-Transformer-Basislinien wie MHA, MQA, GQA und MLA in verschiedenen Metriken, darunter Perplexität und eine Reihe bekannter Bewertungsbenchmarks, übertrifft. Insbesondere ermöglicht die Speichereffizienz von TPA die Verarbeitung deutlich längerer Sequenzen unter festen Ressourcenbeschränkungen und behebt damit eine kritische Skalierbarkeitsherausforderung bei modernen Sprachmodellen. Der Code ist verfügbar.

(arxiv.org)

KI Tensorprodukt-Attention Speichereffizienz

Goldman Sachs CIO: Die Herausforderung 2025: KI-Mitarbeiter managen

2025-01-22

Marco Argenti, CIO von Goldman Sachs, prognostiziert, dass die Verwaltung von KI-Mitarbeitern im Jahr 2025 eine große Herausforderung darstellen wird. KI-Modelle werden ausgereifter und in der Lage sein, komplexe Aufgaben zu bewältigen, was zu hybriden Mensch-KI-Teams führt. Dies wird von den Unternehmens-HR-Abteilungen die Verwaltung sowohl menschlicher als auch maschineller Ressourcen erfordern, möglicherweise einschließlich von KI-„Kündigungen“. Argenti erwartet auch, dass die leistungsstärksten KI-Modelle PhD-Absolventen ähneln werden, die über branchenspezifisches Wissen verfügen, dank Fortschritten bei der retrieval-augmented generation und dem Fine-Tuning. Darüber hinaus wird die Konvergenz von KI und Robotik es der KI ermöglichen, die physische Welt besser zu verstehen und mit ihr zu interagieren.

(www.zdnet.com)

KI KI-Mitarbeitermanagement KI-Trends Goldman Sachs Prognose

Tencents Hunyuan3D 2.0: Erzeugung von hochauflösenden 3D-Assets

2025-01-21

Tencent präsentiert Hunyuan3D 2.0, ein fortschrittliches, großskaliges 3D-Synthese-System zur Erzeugung von hochauflösenden, texturierten 3D-Assets. Es besteht aus zwei Hauptkomponenten: einem großskaligen Modell zur Formgenerierung – Hunyuan3D-DiT – und einem großskaligen Modell zur Textursynthese – Hunyuan3D-Paint. Das System übertrifft bestehende State-of-the-Art-Modelle in Bezug auf Geometriedetails, Bedingungsanpassung und Texturqualität. Eine benutzerfreundliche Plattform, Hunyuan3D-Studio, vereinfacht die Manipulation und Animation. Inferenzcode und vortrainierte Modelle sind jetzt Open Source und über Hugging Face und die offizielle Website zugänglich.

(github.com)

KI 3D-Generierung Diffusionsmodelle

KI-Revolution in der Navigation: Bearings Only meistert die Herausforderung der Entfernungsmessung

2025-01-21

Das KI-System 'Bearings Only' von Googles DeepMind navigiert autonom, indem es nur Kursinformationen (Richtung zum Ziel) verwendet. Dies eliminiert die traditionelle Abhängigkeit von Entfernungsmessungen und zeichnet sich in komplexen Umgebungen ohne Entfernungdaten aus, wie z. B. bei der Unterwasser- oder Weltraumforschung. Durch das Lernen aus umfangreichen Kursdatensätzen prognostiziert die KI die Zielposition und plant Routen, wodurch die Navigation von Unterwasserfahrzeugen und die Weltraumforschung revolutioniert werden. Diese Technologie zeigt das Potenzial der KI über die Navigation hinaus und deutet auf neue Anwendungen in anspruchsvollen Umgebungen hin.

(bearingsonly.net)

KI

DeepSeek R1 deklassiert OpenAI O1 im Finanzbereich: Ein Triumph der chinesischen KI

2025-01-21

Kürzlich durchgeführte direkte Vergleiche zwischen DeepSeek R1 und OpenAI O1 in Finanzanwendungen zeigten einen entscheidenden Sieg für DeepSeek R1. Das chinesische KI-Modell übertraf das Angebot von OpenAI in wichtigen Kennzahlen deutlich und unterstreicht einen bedeutenden Durchbruch der chinesischen KI-Fähigkeiten im Finanzsektor. Dieses Ergebnis hat erhebliche Aufmerksamkeit erregt und signalisiert die wachsende Dominanz Chinas in der globalen KI-Landschaft.

(nexustrade.io)

KI KI Finanzen

KI: Das nächste Cloud Computing?

2025-01-21

Dieser Artikel zieht eine Parallele zwischen dem aktuellen KI-Boom und der Cloud-Computing-Welle von vor 20 Jahren. Der Autor argumentiert, dass KI, insbesondere große Sprachmodelle (LLMs), zwar ein immenses Potenzial aufweisen, ihr Entwicklungspfad aber nach wie vor ungewiss ist, ähnlich wie in den frühen Tagen des Cloud-Computings, wo viele Vorhersagen sich nicht bewahrheiteten. Der Autor hebt hervor, dass der Erfolg von KI von Deep Learning, leistungsstarken Rechenressourcen und massiven Datensätzen abhängt, aber auch Herausforderungen wie Modellgröße, Energieverbrauch, Datenverzerrungen und Urheberrechtsfragen bestehen. Er legt nahe, dass die zukünftige Ausrichtung von KI über die aktuellen Erwartungen hinausgehen könnte und die Einbeziehung von Forschung aus Bereichen wie der Kognitionswissenschaft erfordert, um KI umfassender zu verstehen und anzuwenden.

(bitmasonsllc.blogspot.com)

KI

Category: KI