Webtagr - Technologienummer

VibeVoice: Open-Source Framework für lange, mehrstimmige Text-to-Speech-Synthese

2025-09-03

VibeVoice ist ein neuartiges Open-Source-Framework zur Erzeugung ausdrucksstarker, langer, mehrstimmiger Konversations-Audios wie Podcasts aus Text. Es adressiert die Herausforderungen traditioneller Text-to-Speech (TTS)-Systeme, insbesondere in Bezug auf Skalierbarkeit, Sprecherkonsistenz und natürliches Turn-Taking. Eine Kerninnovation von VibeVoice ist die Verwendung von Continuous-Speech-Tokenizern (akustisch und semantisch) mit einer ultraniedrigen Bildrate von 7,5 Hz. Diese Tokenizer erhalten die Audiotreue effektiv bei gleichzeitig deutlich gesteigerter Rechenleistung für die Verarbeitung langer Sequenzen. VibeVoice verwendet ein Next-Token-Diffusions-Framework, wobei ein Large Language Model (LLM) den Textkontext und den Dialogfluss versteht und ein Diffusionskopf hochfeine akustische Details generiert. Das Modell kann Sprache mit einer Länge von bis zu 90 Minuten mit bis zu 4 verschiedenen Sprechern synthetisieren und übertrifft damit die typischen Grenzen von 1-2 Sprechern vieler vorheriger Modelle.

(microsoft.github.io)

KI

RenderFormer: Neuronales Rendering mit globaler Beleuchtung ohne Szenen-spezifisches Training

2025-06-01

RenderFormer ist eine neuronale Rendering-Pipeline, die direkt ein Bild aus einer dreiecksbasierten Szenendarstellung mit vollständigen globalen Beleuchtungseffekten rendert, ohne ein szenenspezifisches Training oder Feintuning zu benötigen. Anstatt eines physikbasierten Ansatzes formuliert es das Rendering als eine Sequenz-zu-Sequenz-Transformation: Eine Sequenz von Token, die Dreiecke mit Reflexionseigenschaften darstellen, wird in eine Sequenz von Ausgabe-Token umgewandelt, die kleine Pixel-Patches darstellen. Es verwendet eine zweistufige, auf dem Transformer basierende Pipeline: eine blickunabhängige Stufe, die den Lichttransport von Dreieck zu Dreieck modelliert, und eine blickabhängige Stufe, die Strahlbündel in Pixelwerte umwandelt, die von der blickunabhängigen Stufe geleitet werden. Keine Rasterisierung oder Raytracing erforderlich.

(microsoft.github.io)

KI neuronales Rendering globale Beleuchtung

Furchtlose Nebenläufigkeit in Python: Das Lungfish-Projekt

2025-05-18

Das Project Verona-Team entwickelt Lungfish, ein neues Ownership-Modell für Python, das eine sichere und effiziente Verwaltung von Speicher und Nebenläufigkeit in Python-Programmen ermöglichen soll. Zunächst wurde mit einer Spielzeugsprache namens FrankenScript ein Prototyp eines regionbasierten Ownership-Modells erstellt, und die gewonnenen Erkenntnisse wurden mit dem Faster CPython-Team geteilt. Derzeit wird schrittweise ein Modell der tiefen Unveränderlichkeit implementiert, einschließlich der tiefen Unveränderlichkeit in CPython, der Verwaltung zyklischer unveränderlicher Garbage und der Integration mit der Nachrichtenübermittlung zwischen Subinterpreten. Dies wird den Weg für die Anwendung des regionbasierten Ownership-Modells in Python ebnen und letztendlich darauf abzielen, die nebenläufige Programmierung zu vereinfachen und die Fallstricke der Nebenläufigkeit zu vermeiden. Das Projekt lehnt sich stark an die Erfahrungen von Sprachen wie Rust an, verwendet aber dynamische Prüfungen, um dem dynamischen Typsystem von Python gerecht zu werden.

(microsoft.github.io)

Entwicklung Ownership-Modell

KI-gestützte Videoanalyse: Kiosk und häusliches Umfeld

2025-02-20

Zwei KI-Segmente analysieren Videos von einer Kiosk-Kasse und einem häuslichen Umfeld. Das erste beschreibt einen Kunden, der Snacks und Getränke mit einem „PICK 5 FOR $8.00“-Angebot kauft, wobei der Fokus auf der Interaktion zwischen Kunde und Angestelltem liegt. Das zweite zeigt eine Hand, die eine Topfpflanze ordnet, mit einem häuslichen Hintergrund, einschließlich Büchern, Schalen, einer Gießkanne usw., was eine entspannte Atmosphäre vermittelt. Beide Segmente demonstrieren die Fähigkeit der KI, Videoinhalte durch detaillierte Aktionsbeschreibungen zu verstehen.

(microsoft.github.io)

KI Videoanalyse Szenenverständnis