Webtagr - Technologienummer

Apples Ansatz zur Verbesserung der KI unter Wahrung des Datenschutzes

2025-04-14

Apple verpflichtet sich zum Datenschutz der Nutzer, auch bei der Verbesserung seiner KI-Funktionen wie Genmoji, Bilderzeugungs-Tools und Schreibwerkzeuge. Es verwendet Differential Privacy, anonymisiert Nutzerdaten, um nur aggregierte Trendinformationen zu sammeln, wie z. B. beliebte Genmoji-Prompts. Für KI-Funktionen, die längere Texte wie E-Mails verarbeiten, verwendet Apple synthetische Daten. Dies erzeugt synthetische Daten, die reale Nutzerdatenmuster imitieren, um Modelle zu trainieren und zu testen, ohne auf den tatsächlichen E-Mail-Inhalt zuzugreifen. So kann Apple die Produkterfahrungen verbessern und gleichzeitig sicherstellen, dass der Datenschutz der Nutzer im Vordergrund steht.

(machinelearning.apple.com)

KI Differential Privacy Synthetische Daten

Apples KI-Durchbruch: Feinsteuerung generativer Modelle mit Activation Transport (AcT)

2025-04-10

Apple-Forscher im Bereich maschinelles Lernen haben Activation Transport (AcT) entwickelt, eine neue Technik zur präzisen Steuerung großer generativer Modelle, einschließlich LLMs und Text-zu-Bild-Diffusionsmodelle, ohne den ressourcenintensiven Trainingsprozess von RLHF oder Feinanpassung. AcT steuert Modell-Aktivierungen mithilfe der optimalen Transporttheorie und ermöglicht eine modalitätsagnostische Steuerung mit minimalem Rechenaufwand. Experimente zeigen signifikante Verbesserungen bei der Toxizitätsminderung, der Induktion von Wahrheitsgehalt in LLMs und der Steuerung des Stils in der Bilderzeugung. AcT ebnet den Weg für sicherere und zuverlässigere generative Modelle.

(machinelearning.apple.com)

KI Modellsteuerung

SeedLM: Eine neue Methode zur Komprimierung von LLM-Gewichten mithilfe von Pseudozufallszahlengeneratoren

2025-04-06

Große Sprachmodelle (LLMs) sind durch hohe Laufzeitkosten behindert, was ihren breiten Einsatz einschränkt. Forscher von Meta stellen SeedLM vor, eine neue Methode zur Komprimierung nach dem Training, die Seeds eines Pseudozufallszahlengenerators verwendet, um Modellgewichte zu kodieren und zu komprimieren. Während der Inferenz verwendet SeedLM ein lineares Rückkopplungs-Shift-Register (LFSR), um effizient eine Zufallsmatrix zu generieren, die linear mit komprimierten Koeffizienten kombiniert wird, um Gewichtsblöcke zu rekonstruieren. Dies reduziert den Speicherzugriff und nutzt ungenutzte Rezyklen, wodurch speichergebundene Aufgaben beschleunigt werden, indem Rechenleistung gegen weniger Speicherzugriffe eingetauscht wird. Im Gegensatz zu den besten aktuellen Methoden, die Kalibrierungsdaten benötigen, ist SeedLM datenfrei und verallgemeinert gut über verschiedene Aufgaben hinweg. Experimente mit dem herausfordernden Llama 3 70B zeigen eine Zero-Shot-Genauigkeit bei 4- und 3-Bit-Komprimierung, die mit oder besser als die besten aktuellen Methoden ist, während die Leistung mit FP16-Basislinien vergleichbar bleibt. FPGA-Tests zeigen, dass SeedLM mit 4 Bit mit zunehmendem Modellumfang eine 4-fache Beschleunigung gegenüber einer FP16 Llama 2/3-Basislinie erreicht.

(machinelearning.apple.com)

KI