Webtagr - Technologienummer

Beliebte Tags：

Kosmos Virtualisierung DNS-Sicherheit formale Verifikation Erreichbarkeitsanalyse KI Compilerfehler Makrokonflikt Web-Erweiterung Entwicklungsframework Alle Tags

Softmax: Für immer? Ein tiefer Einblick in log-harmonische Funktionen

2025-02-20

Vor zehn Jahren, während eines Kurses über NLP, wurde der Autor von einem Studenten nach Alternativen zu Softmax gefragt. Ein kürzlich erschienener Artikel schlägt eine log-harmonische Funktion als Ersatz vor, was zu einer tieferen Untersuchung führte. Der Autor analysiert die partiellen Ableitungen sowohl von Softmax als auch der log-harmonischen Funktion und zeigt, dass der Gradient von Softmax gutartig und interpretierbar ist, während der Gradient der log-harmonischen Funktion in der Nähe des Ursprungs eine Singularität aufweist, was möglicherweise zu Trainingsschwierigkeiten führt. Obwohl leistungsstarke Optimierer diese Herausforderungen möglicherweise überwinden können, kommt der Autor zu dem Schluss, dass der log-harmonische Ansatz weitere Erforschung und mögliche Verbesserungen verdient.

NeurIPS'24: Angst und Veränderungen auf dem KI-Arbeitsmarkt

2024-12-24

Auf der NeurIPS'24-Konferenz äußerten viele promovierende und Postdoc-Studenten, die kurz vor ihrem Abschluss stehen, Angst und Frustration über den KI-Arbeitsmarkt. Dies rührt vom schnellen Fortschritt des Deep Learnings in den letzten zehn Jahren her, in dem große Technologieunternehmen aktiv KI-Doktoranden rekrutierten und ihnen lukrative Gehälter und Forschungssfreiheit boten. Mit der Reife und Kommerzialisierung von Technologien wie großen Sprachmodellen ist die Nachfrage nach Doktoranden jedoch gesunken, und Universitäten bilden nun Bachelor- und Master-Studenten in relevanten Fähigkeiten aus. Dieser Wandel hat viele Doktoranden das Gefühl, zurückgelassen zu werden, ihre Forschungsrichtung passt nicht mehr zu den Marktanforderungen und ihre zukünftigen Karriereperspektiven sind unsicher. Der Autor drückt Verständnis und Entschuldigung aus und betont, dass es in der KI-Forschung noch viele wichtige Forschungsrichtungen gibt, die über große Sprachmodelle hinausgehen.