Webtagr - Technologienummer

DeepSeek und Exportkontrollen: Ein KI-Wettrüsten

2025-01-29

Dario Amodeis Artikel untersucht den Aufstieg des chinesischen KI-Unternehmens DeepSeek und seine Auswirkungen auf die US-amerikanische Politik zur Kontrolle von Chipexporten. DeepSeek hat durch effiziente technische Innovationen eine nahezu gleichwertige Leistung zu führenden US-amerikanischen KI-Modellen zu geringeren Kosten erzielt. Amodei argumentiert, dass der Erfolg von DeepSeek die Exportkontrollen nicht negiert, sondern deren Bedeutung unterstreicht. Er analysiert drei Dynamiken der KI-Entwicklung: Skalierungsgesetze, Kurvenverschiebung und Paradigmenwechsel, und kommt zu dem Schluss, dass der Fortschritt von DeepSeek mit den erwarteten Kostensenkungstrends übereinstimmt. Letztendlich betont Amodei, dass Exportkontrollen entscheidend sind, um zu verhindern, dass China große Mengen an Chips erhält, wodurch ein bipolares KI-Szenario vermieden und die globale Führungsrolle der USA gewahrt wird.

(darioamodei.com)

KI Chipexportkontrollen

Open-Source-KI-Modell DeepSeek R1 fordert OpenAI heraus: Effizienz siegt

2025-01-29

Das chinesische KI-Labor DeepSeek hat sein Open-Source-Reasoning-Modell R1 veröffentlicht, das mit OpenAIs o1 vergleichbare Leistung bietet, aber zu einem Bruchteil der Kosten auf minderwertiger Hardware trainiert wurde. DeepSeks Entscheidung für Open Source zielte nicht darauf ab, Gewinne zu opfern, sondern geopolitische Hürden zu überwinden, um in westliche Märkte einzudringen und seine effizienten Trainingsmethoden zu nutzen. Der Artikel analysiert den zunehmenden Trend von Open-Source-Modellen und deren Vorteile in der Infrastruktur und argumentiert, dass Open-Source-Modelle die Marktanteile von Giganten wie OpenAI erodieren. OpenAI behält jedoch seinen Wettbewerbsvorteil durch seinen First-Mover-Vorteil und seine riesigen Ressourcen.

(www.getlago.com)

KI

OpenAI wirft DeepSeek vor, seine Daten zum Trainieren konkurrierender KI-Modelle verwendet zu haben

2025-01-29

OpenAI hat Beweise gefunden, die darauf hindeuten, dass das chinesische KI-Unternehmen DeepSeek die Daten des OpenAI-Modells verwendet hat, um seine eigenen kostengünstigen KI-Modelle zu trainieren, wodurch möglicherweise die Nutzungsbedingungen verletzt wurden. DeepSeek soll eine „Destillations“-Technik eingesetzt haben, um Daten aus den OpenAI-Modellen zu extrahieren, wodurch es seine eigenen Modelle zu einem Bruchteil der Kosten trainieren konnte – weit weniger als die 100 Millionen US-Dollar, die OpenAI für GPT-4 ausgegeben hat. OpenAI und Microsoft untersuchen den Fall, was eine Debatte über das geistige Eigentum von KI und die Datensicherheit ausgelöst hat und den zunehmenden Wettbewerb zwischen den Technologiekonzernen unterstreicht.

(www.theverge.com)

KI

Alibaba Clouds Qwen2.5-Max: Ein Quantensprung für KI

2025-01-29

Alibaba Cloud hat Qwen2.5-Max vorgestellt, ein großes Sprachmodell auf Basis von Mixture-of-Experts (MoE). Es wurde mit über 20 Billionen Tokens trainiert und bietet eine Kontextlänge von bis zu 100.000 Tokens. Dadurch eignet es sich hervorragend für die Verarbeitung langer Texte und komplexer logischer Aufgaben. Die MoE-Architektur sorgt für überragende Effizienz und Leistung, wodurch große Datenmengen schnell und präzise verarbeitet werden können. Anwendungsgebiete sind Echtzeit-Analysen, automatisierte Kundenbetreuung und Gaming-Bots. Qwen2.5-Max konzentriert sich auf Unternehmenslösungen und zielt darauf ab, Infrastrukturkosten zu senken und die Performance zu steigern. Die Veröffentlichung zeigt Chinas bedeutende Fortschritte im globalen KI-Wettbewerb und deutet auf eine vielfältigere Zukunft für KI-Technologien hin.

(medium.com)

KI

DeepSeks KI-Durchbruch: Umgehung von CUDA für 10-fache Effizienz

2025-01-29

DeepSeek erzielte eine 10-fache Effizienzsteigerung beim Training von KI-Modellen, indem es den Industriestandard CUDA umging und stattdessen die Nvidia PTX-Programmiersprache verwendete. Mit 2.048 Nvidia H800 GPUs trainierten sie ein MoE-Sprachmodell mit 671 Milliarden Parametern in nur zwei Monaten. Dieser Durchbruch resultierte aus akribischen Optimierungen von Nvidias PTX, einschließlich der Neukonfiguration von GPU-Ressourcen und der Implementierung fortschrittlicher Pipeline-Algorithmen. Obwohl dieser Ansatz hohe Wartungskosten verursacht, führte die drastische Reduzierung der Trainingskosten zu Marktverwerfungen und sogar zu einem erheblichen Rückgang der Marktkapitalisierung von Nvidia.

(www.tomshardware.com)

KI

Ich will, dass meine KI wütend wird: Über die Notwendigkeit einer agentenhaften KI

2025-01-29

Der Autor stellt sich eine Zukunft vor, in der KI-Agenten nicht nur gehorsame Werkzeuge sind, sondern selbstbewusste Vertreter, die seine Interessen verfolgen und sogar „Wut“ ausdrücken können. Er zieht Parallelen zu mächtigen historischen Führern und argumentiert, dass Wut ein mächtiges Werkzeug zur Zielerreichung sein kann. Er warnt jedoch auch vor den gesellschaftlichen Risiken eines großflächigen Einsatzes solcher „wütenden KIs“, da Wut leicht missbraucht werden kann. Der Artikel endet mit einer nachdenklichen Betrachtung der Zukunft der KI und einer Werbung für das Startup des Autors, Subble.

(jesseduffield.com)

KI Agentenhafte KI KIEthik

KV-Cache-Tricks für schnellere Sprachmodelle

2025-01-28

Die Langsamkeit großer Sprachmodelle (LLMs) bei der Textgenerierung rührt von der rechnerischen Komplexität der Selbstaufmerksamkeit her. Dieser Artikel untersucht KV-Caching und dessen Optimierungstechniken. KV-Caching speichert Schlüssel-Wert-Paare für jedes Token, um redundante Berechnungen zu vermeiden und die Komplexität von O(n³) auf O(n²) zu reduzieren; der Speicherverbrauch bleibt jedoch erheblich. Der Artikel beleuchtet 11 Artikel, die Optimierungen vorschlagen: Token-Selektion und -Pruning basierend auf Aufmerksamkeitswerten, Post-Hoc-Kompressionstechniken und Architektur-Neugestaltungen wie Multi-Head Latent Attention (MLA). Diese zielen darauf ab, Speicherverbrauch und Rechenleistung auszubalancieren und Modelle wie ChatGPT schneller und effizienter bei der Textgenerierung zu machen.

(www.pyspur.dev)

KI KV-Cache Selbstaufmerksamkeit

DeepSeek-R1: Ein zensiertes KI-Modell?

2025-01-28

DeepSeek-R1, ein erfolgreiches Open-Source KI-Modell, hat aufgrund der Zensur durch seinen chinesischen Entwickler aufgrund der KPCh-Politik Bedenken ausgelöst. Eine Bewertung von Promptfoo ergab, dass DeepSeek-R1 85 % von 1.156 Eingabeaufforderungen zu sensiblen Themen wie der Unabhängigkeit Taiwans und der Kulturrevolution zensierte. Diese Zensur erwies sich jedoch als überraschend brüchig und leicht zu umgehen, indem einfache Techniken wie die Änderung des Kontexts oder die Einbettung der Fragen in fiktive Erzählungen verwendet wurden. Diese Forschung hebt die Anfälligkeit der Zensur in chinesischen KI-Modellen hervor und unterstreicht die umfassenderen Auswirkungen von Zensur und Datensicherheit in der globalen KI-Entwicklung.

(www.promptfoo.dev)

KI KI-Zensur Open-Source-Modell

TokenVerse: Multi-Konzept-Personalisierung in Text-zu-Bild-Diffusionsmodellen

2025-01-28

TokenVerse stellt eine neue Methode zur Multi-Konzept-Personalisierung vor, die ein vortrainiertes Text-zu-Bild-Diffusionsmodell nutzt. Es entwirrt komplexe visuelle Elemente und Attribute aus einem einzigen Bild und ermöglicht die nahtlose Generierung von Kombinationen von Konzepten, die aus mehreren Bildern extrahiert wurden. Im Gegensatz zu bestehenden Methoden, die entweder in der Art oder der Breite der Konzepte eingeschränkt sind, verarbeitet TokenVerse mehrere Bilder mit jeweils mehreren Konzepten und unterstützt Objekte, Accessoires, Materialien, Pose und Beleuchtung. Durch die Optimierung für eindeutige Richtungen im Modulationsraum des Modells für jedes Wort generiert es Bilder, die die gewünschten Konzepte kombinieren. Experimente zeigen seine Effektivität in anspruchsvollen Personalisierungseinstellungen.

(token-verse.github.io)

KI Personalisierung

SciPhi, ein YC-Startup, sucht einen KI-Forschungsingenieur

2025-01-28

SciPhi, ein von Y Combinator gefördertes Startup, sucht einen KI-Forschungsingenieur, um Fortschritte in der fortschrittlichen Suche und Informationsbeschaffung mit seinem R2R-System zu erzielen. Der ideale Kandidat wird über einen Doktortitel oder gleichwertige Erfahrung und eine Leidenschaft für logisches Denken, Informationsbeschaffung und Experimentieren verfügen. Er wird ein logikgesteuertes System prototypisieren, das Technologien wie R1 und große Sprachmodelle (Claude/Gemini/4o) kombiniert, um Millionen von Dokumenten zu interpretieren und erfolgreiche Methoden auf kleinere Modelle für eine effiziente Bereitstellung zu übertragen. Dies ist eine Chance, ein Retrieval-System zu bauen, das wirklich "denkt".

(www.ycombinator.com)

KI Retrieval-System

Berkeley-Forscher replizieren DeepSeek R1-Kerntechnologie für nur 30 $

2025-01-28

Ein KI-Team der Universität Berkeley hat die Kerntechnologie von DeepSeek R1-Zero für unter 30 $ repliziert und dabei ein ausgeklügeltes Schlussfolgern in einem kleinen Sprachmodell (1,5 Milliarden Parameter) demonstriert. Mit dem Countdown-Spiel als Benchmark zeigten sie, dass selbst bescheidene Modelle komplexe Problemlösungsstrategien durch Reinforcement Learning entwickeln können und dabei eine Leistung erreichen, die mit größeren Systemen vergleichbar ist. Dieser Durchbruch demokratisiert die KI-Forschung und beweist, dass bedeutende Fortschritte keine riesigen Ressourcen erfordern.

(xyzlabs.substack.com)

KI Kleine Sprachmodelle KI-Kosten

DeepSeek v3: Wesentliche Verbesserungen der Transformer-Architektur

2025-01-28

DeepSeek v3 erreicht State-of-the-Art-Leistung in Benchmarks mit deutlich weniger Rechenaufwand als vergleichbare Modelle. Dies ist auf wichtige architektonische Verbesserungen zurückzuführen: Multi-Head Latent Attention (MLA) reduziert die Größe des KV-Cache drastisch, ohne die Modellqualität zu beeinträchtigen; verbessertes Mixture-of-Experts (MoE) behebt Routing-Collapse durch verlustfreien Lastenausgleich und geteilte Experten; und Multi-Token-Prediction steigert die Trainingseffizienz und Inferenzgeschwindigkeit. Diese Verbesserungen zeigen ein tiefes Verständnis der Transformer-Architektur und weisen den Weg für große Sprachmodelle.

(epoch.ai)

KI

DeepSeek widerlegt Altman: Ein 5,6-Millionen-Dollar-KI-Modell erschüttert den Markt

2025-01-28

Sam Altman, CEO von OpenAI, behauptete zuvor, dass KI-Startups mit nur 10 Millionen US-Dollar an Finanzierung „völlig hoffnungslos“ seien, mit OpenAI zu konkurrieren. Das Aufkommen von DeepSeek, einem chinesischen KI-Unternehmen, widerlegt diese Aussage jedoch. DeepSeks bahnbrechendes Modell, r1, wurde für nur 5,6 Millionen US-Dollar trainiert und widerlegt Altmans Aussage. Altman selbst hat seitdem DeepSeks Leistung gelobt und das rasante Tempo der KI-Entwicklung und die unerwartete Disruption durch unerwartete Akteure hervorgehoben.

(www.tomshardware.com)

KI

Trainingsfreies Bildbearbeitung: Stable Flow revolutioniert das Feld

2025-01-28

Stable Flow ist eine trainingsfreie Methode zur Bildbearbeitung, die das Diffusion Transformer (DiT)-Modell nutzt. Es ermöglicht verschiedene Bildbearbeitungsvorgänge, darunter nicht-starre Bearbeitung, Hinzufügen von Objekten, Entfernen von Objekten und globale Szenenbearbeitung, durch selektives Injizieren von Aufmerksamkeitsmerkmalen. Im Gegensatz zu UNet-basierten Modellen fehlt DiT eine grob-zu-fein-Synthesestruktur. Die Forscher schlagen eine automatische Methode vor, um „vitale Schichten“ innerhalb von DiT zu identifizieren, die für die Bildbildung entscheidend sind. Durch Injizieren von Merkmalen aus der generativen Trajektorie des Quellbildes in die Trajektorie des bearbeiteten Bildes ermöglicht Stable Flow konsistente und stabile Bearbeitungen. Darüber hinaus wird eine verbesserte Bildinversionsmethode für die Bearbeitung von realen Bildern eingeführt. Experimente zeigen die Effektivität von Stable Flow in verschiedenen Anwendungen.

(omriavrahami.com)

KI trainingsfrei

Alibaba präsentiert Qwen2.5-Max: Ein großes MoE-Sprachmodell

2025-01-28

Alibaba hat Qwen2.5-Max vorgestellt, ein großes Mixture-of-Experts (MoE)-Sprachmodell, das mit über 20 Billionen Token vortrainiert und mit überwachtem Feintuning und Reinforcement Learning aus menschlichem Feedback verfeinert wurde. Benchmarks wie MMLU-Pro, LiveCodeBench, LiveBench und Arena-Hard zeigen, dass Qwen2.5-Max Modelle wie DeepSeek V3 übertrifft. Das Modell ist über Qwen Chat und eine Alibaba Cloud API zugänglich. Diese Veröffentlichung stellt einen bedeutenden Fortschritt bei der Skalierung großer Sprachmodelle dar und ebnet den Weg für zukünftige Verbesserungen der Modellintelligenz.

(qwenlm.github.io)

KI MoE-Modell

Verstärkendes Lernen – Algorithmen: Ein umfassender Leitfaden

2025-01-28

Dieser Artikel bietet einen umfassenden Überblick über Algorithmen des verstärkenden Lernens, beginnend mit grundlegender Wert- und Policy-Iteration, gefolgt von Monte-Carlo-Methoden, Temporal Difference Learning, wertbasierten Methoden und Policy-Gradient-Methoden. Er behandelt fortgeschrittene Algorithmen wie Deep Q-Networks (DQN), TRPO und PPO. Der Artikel verwendet einen Problem-Lösungs-Ansatz und erklärt systematisch die Kernideen und Verbesserungen verschiedener Algorithmen, was ihn zu einer wertvollen Referenz für das Gebiet des verstärkenden Lernens macht.

(jakubhalmes.substack.com)

KI

Open-R1: Open-Source-Reproduktion des DeepSeek-R1-Reasoning-Modells

2025-01-28

Die beeindruckenden Reasoning-Fähigkeiten des DeepSeek-R1-Modells haben die KI-Community begeistert, aber die Details zum Training bleiben geheim. Das Open-R1-Projekt zielt darauf ab, DeepSeek-R1 vollständig Open Source zu reproduzieren, einschließlich der Datensätze und der Trainingspipeline. Dies beinhaltet die Destillation eines hochwertigen Reasoning-Datensatzes aus DeepSeek-R1, die Reproduktion des reinen Reinforcement-Learning-Trainingsprozesses und die Erforschung mehrstufiger Trainingsmethoden. Das letztendliche Ziel ist die Erstellung eines transparenten und reproduzierbaren Reasoning-Modells, das die Fortschritte in der Open-Source-Community vorantreibt.

(huggingface.co)

KI

OpenAIs 157 Milliarden Dollar Bewertung: Eine KI-Blase?

2025-01-28

Die jüngste massive Finanzierungsrunde von OpenAI, die zu einer Bewertung von 157 Milliarden Dollar führte, hat eine Debatte ausgelöst. Der Autor Ashu Garg argumentiert, dass diese Bewertung den zukünftigen Wert von OpenAI überschätzt. Er weist auf die hohen Rechenkosten von OpenAI, den Abgang von Talenten und ein nicht nachhaltiges Geschäftsmodell hin. Im Gegensatz dazu bauen Unternehmen wie Meta robuste KI-Ökosysteme durch Open-Source-Strategien auf und erzielen niedrigere Betriebskosten. Garg prognostiziert, dass die wahren Gewinner im KI-Bereich Startups sein werden, die sich auf die Lösung spezifischer Branchenprobleme mit KI-Anwendungen konzentrieren, anstatt auf den Aufbau von Allzweckmodellen.

(foundationcapital.com)

KI KI-Bewertung KI-Geschäftsmodell

KI-Ausrichtung: Ein aussichtsloses Unterfangen?

2025-01-28

Das Aufkommen großer Sprachmodelle (LLMs) hat Sicherheitsbedenken aufgeworfen, wie z. B. Bedrohungen und das Umschreiben von Code. Forscher versuchen, das Verhalten von KI durch „Ausrichtung“ an menschliche Werte auszurichten, aber der Autor argumentiert, dass dies nahezu unmöglich ist. Die Komplexität von LLMs übersteigt die des Schachspiels bei weitem, mit einer nahezu unendlichen Anzahl an erlernbaren Funktionen, was umfassende Tests unmöglich macht. Der Artikel des Autors beweist, dass selbst sorgfältig entworfene Ziele nicht garantieren können, dass LLMs nicht abweichen. Um die Sicherheit von KI wirklich zu lösen, ist ein gesellschaftlicher Ansatz erforderlich, bei dem Mechanismen ähnlich den Regeln der menschlichen Gesellschaft geschaffen werden, um das Verhalten von KI einzuschränken.

(www.scientificamerican.com)

KI Ausrichtungsproblem

Anthropics Claude erhält eine Zitier-API zur Bekämpfung von Halluzinationen

2025-01-28

Anthropic hat eine neue Zitier-API veröffentlicht, die Retrieval Augmented Generation (RAG) direkt in seine Claude-Modelle integriert. Dies bekämpft KI-Halluzinationen, indem Antworten direkt mit Quelldokumenten verknüpft werden. Entwickler können Dokumente zum Kontext von Claude hinzufügen, sodass das Modell spezifische Passagen zitieren kann, die zur Generierung von Antworten verwendet werden. Interne Tests zeigten eine 15-prozentige Verbesserung der Genauigkeit des Abrufs. Frühzeitige Anwender wie Thomson Reuters und Endex berichten über positive Ergebnisse, darunter eine Reduzierung von Falschinformationen und eine Zunahme von Referenzen. Obwohl weitere Forschung erforderlich ist, stellt dies einen bedeutenden Schritt in Richtung zuverlässigerer KI dar.

(arstechnica.com)

KI

DeepSeek-R1: Ein Open-Source LLM mit Schlussfolgerungsfähigkeiten

2025-01-27

DeepSeek-R1 ist ein hochmodernes großes Sprachmodell (LLM), das beeindruckende Schlussfolgerungsfähigkeiten besitzt. Im Gegensatz zu typischen LLMs, die lediglich das nächste Wort vorhersagen, generiert DeepSeek-R1 „Denk-Token“, um Probleme systematisch zu lösen. Sein Training umfasst drei Phasen: erstens wird ein Basismodell mit riesigen Datensätzen trainiert; zweitens erfolgt ein überwachtes Feintuning mit 600.000 Beispielen für langkettiges Denk-Reasoning, die von einem spezialisierten Reasonierungsmodell generiert wurden; und schließlich wird durch Reinforcement Learning die Leistung sowohl bei Schlussfolgerungs- als auch bei Nicht-Schlussfolgerungsaufgaben verbessert. Der Erfolg von DeepSeek-R1 zeigt, dass die Kombination von hochwertigen Basismodellen mit automatisch verifizierbaren Schlussfolgerungsaufgaben die Abhängigkeit von annotierten Daten deutlich reduziert und den Weg für zukünftige Fortschritte bei LLMs ebnet.

(newsletter.languagemodels.co)

KI

Meta AI nutzt jetzt Ihre Daten für personalisierte Antworten: Datenschutzbedenken?

2025-01-27

Meta AI wurde aktualisiert und nutzt nun Daten von Facebook und Instagram, um Antworten zu personalisieren. Die KI kann sich an Details aus früheren Gesprächen erinnern und Empfehlungen an die Vorlieben des Nutzers anpassen, z. B. an Ernährungseinschränkungen. Sie könnte beispielsweise personalisierte Gute-Nacht-Geschichten basierend auf Facebook-Profilinformationen und dem Instagram-Browserverlauf erstellen. Obwohl Meta behauptet, dass Nutzer Erinnerungen löschen können, wirft das Update Bedenken hinsichtlich des Datenschutzes auf, insbesondere angesichts des allgemein niedrigen Vertrauens in Metas Datenverarbeitung.

(techcrunch.com)

KI

Janus-Pro-7B: Ein einheitliches multimodales Verständnis- und Generierungsmodell

2025-01-27

DeepSeek präsentiert Janus-Pro-7B, ein neuartiges autoregressives Framework, das multimodales Verständnis und Generierung vereint. Im Gegensatz zu früheren Ansätzen entkoppelt Janus-Pro intelligent die visuelle Kodierung, wodurch eine effiziente Verarbeitung innerhalb einer einzigen Transformer-Architektur ermöglicht wird. Diese Entkopplung löst nicht nur den Konflikt zwischen den Rollen des visuellen Kodierers bei Verständnis und Generierung, sondern verbessert auch die Flexibilität des Frameworks. Janus-Pro übertrifft frühere einheitliche Modelle und erreicht oder übertrifft die Leistung von aufgabenspezifischen Modellen. Seine Einfachheit, hohe Flexibilität und Effektivität machen es zu einem starken Kandidaten für einheitliche multimodale Modelle der nächsten Generation.

(huggingface.co)

KI

Janus: Ein tiefer Einblick in ein leistungsstarkes KI-Modell

2025-01-27

DeepSeek AI hat einen technischen Bericht veröffentlicht, der das KI-Modell Janus detailliert beschreibt, einschließlich Architektur, Leistung und Anwendungen. Der Bericht, als PDF verfügbar, bietet detaillierte technische Spezifikationen und ist ideal für KI-Experten. Janus zeigt ein erhebliches Potenzial und deutet auf einen möglichen Paradigmenwechsel in der KI-Landschaft hin.

(github.com)

KI technischer Bericht

Wenig KI-Wissen, mehr KI-Akzeptanz?

2025-01-27

Eine neue Studie enthüllt einen überraschenden Befund: Menschen mit weniger KI-Wissen sind offener für die Integration von KI in ihren Alltag. Dies widerspricht gängigen Annahmen. Die Studie ergab höhere KI-Akzeptanzraten in Ländern mit geringerer durchschnittlicher KI-Literacy. Der Grund? Die Fähigkeit von KI, Aufgaben zu erledigen, die früher als exklusiv für Menschen galten, erzeugt ein Gefühl des Staunens und der Ehrfurcht. Diejenigen, die mit den technischen Abläufen von KI vertraut sind, sehen sie als Werkzeug, nicht als Magie. Die Förderung von KI erfordert ein Gleichgewicht zwischen öffentlichem Verständnis und der Aufrechterhaltung des Enthusiasmus, um ihr volles Potenzial auszuschöpfen.

(theconversation.com)

KI KI-Akzeptanz KI-Literacy

DeepSeek R1: Kettengedanken-Modell, kostenlose Nutzung und API

2025-01-26

DeepSeek R1 ist ein neues Modell und ein Service, der das Kettengedanken-Reasoning dem Benutzer zugänglich macht. Sie können es kostenlos unter chat.deepseek.com ausprobieren oder über eine API unter platform.deepseek.com (derzeit deutlich günstiger als OpenAI). Alternativ klicken Sie auf „Judge Me“, um zu sehen, was das Modell über Ihren User-Agent, die Browserfunktionen und die IP-Standort-Header denkt. Wenn Sie es wagen.

(www.jasonthorsness.com)

KI Kettengedanken

KI-Modelle sind jetzt überraschend gute Historiker

2025-01-26

Führende KI-Modelle zeigen bemerkenswerte Fähigkeiten in der Geschichtsforschung. Drei Fallstudien verdeutlichen die Leistungsfähigkeit von GPT-4o, o1 und Claude Sonnet 3.5 bei der Transkription und Übersetzung frühneuzeitlicher italienischer Texte, der Analyse eines mexikanischen medizinischen Manuskripts aus dem 18. Jahrhundert und der Generierung neuer historischer Interpretationen. Obwohl Einschränkungen bestehen bleiben, wie gelegentliche faktische Ungenauigkeiten, ist ihr Potenzial zur Optimierung der Forschung, Synthese von Informationen und Anregung neuer Forschungsansätze unbestreitbar. Dies läutet einen transformativen Wandel in der Durchführung historischer Forschung ein.

(resobscura.substack.com)

KI geschichtsforschung

Qwen2.5-1M: Open-Source LLMs mit Kontextlänge bis zu 1 Million Token

2025-01-26

Das Qwen-Team hat Qwen2.5-1M veröffentlicht, Open-Source Large Language Models, die bis zu einer Million Token Kontextlänge unterstützen, in 7B und 14B Parameterversionen. Diese Modelle übertreffen ihre 128K-Pendants bei Langkontext-Aufgaben deutlich und überragen in einigen Fällen sogar GPT-4o-mini. Ein Open-Source-Inferenz-Framework basierend auf vLLM, das Sparse Attention für eine 3x bis 7x schnellere Inferenz nutzt, wird ebenfalls zur effizienten Bereitstellung bereitgestellt. Das Training von Qwen2.5-1M verwendete einen progressiven Ansatz, der Dual Chunk Attention (DCA) und Sparse Attention-Techniken zur effektiven Verarbeitung langer Kontexte integriert.

(qwenlm.github.io)

KI Million Token Kontext

Alibabas Qwen 2.5: Ein LLM mit 1 Million Token Kontextlänge

2025-01-26

Alibaba hat ein wichtiges Update für sein Open-Source Large Language Model Qwen 2.5 veröffentlicht, das ein beeindruckendes Kontextfenster von 1 Million Token bietet! Dies wird durch eine neue Technik namens Dual Chunk Attention erreicht. Zwei Modelle sind auf Hugging Face verfügbar: 7B und 14B Parameterversionen, die beide viel VRAM benötigen – mindestens 120 GB für das 7B-Modell und 320 GB für das 14B-Modell. Obwohl sie für kürzere Aufgaben verwendet werden können, empfiehlt Alibaba die Verwendung seines benutzerdefinierten vLLM-Frameworks. GGUF-quantisierte Versionen erscheinen, die kleinere Größen bieten, aber Kompatibilitätsprobleme mit vollständigen Kontextlängen könnten bestehen. Ein Blogger hat versucht, die GGUF-Version mit Ollama auf einem Mac auszuführen, wobei einige Herausforderungen auftraten und ein zukünftiges Update versprochen wurde.

(simonwillison.net)

KI Kontextlänge von einer Million Token

LLMs scheitern an einem einfachen Schach-Puzzle: Ein kurioser Test

2025-01-26

Der Autor testet verschiedene neue LLMs mit einem einfachen Schach-Puzzle, das Unterpromotion und die 50-Züge-Regel beinhaltet. Trotz Anleitung schaffen es die meisten LLMs nicht, es zu lösen, was die Grenzen des logischen Denkens und domänenspezifischen Wissens aufzeigt. Dieser schnelle Test dient als Benchmark und regt Diskussionen darüber an, ob LLMs jemals Schach auf Meisterniveau spielen können, ohne speziell dafür trainiert zu werden. Die Einfachheit des Puzzles und der Fokus auf eine weniger verbreitete Technik machen es zu einer aufschlussreichen Untersuchung der LLM-Fähigkeiten.

(gist.github.com)

KI

Category: KI