OCR für Code: Screenshots in Code verwandeln
Pieces hat die OCR-Technologie verfeinert, um Code aus Screenshots präzise zu erkennen. Aufbauend auf der Tesseract-Engine wurden Vor- und Nachverarbeitungsschritte hinzugefügt, um verschiedene Programmierumgebungen (heller/dunkler Modus), verrauschte Hintergründe und Bilder mit niedriger Auflösung zu handhaben. Die Bildvorverarbeitung, einschließlich der Umkehrung des dunklen Modus, der Rauschreduzierung und der Auflösungserhöhung, sowie die Nachverarbeitung zur Wiederherstellung der Einrückung des Codes verbessern die Genauigkeit erheblich. Sie verwenden die Levenshtein-Distanz zur Bewertung der Modellleistung und haben experimentell eine effiziente Methode zum Hochskalieren von Bildern ausgewählt. Diese Technologie ermöglicht es Entwicklern, Screenshots von Code einfach in editierbaren Code umzuwandeln und so die Entwicklungseffizienz zu steigern.