Wie ein KI-Code-Review-Bot das Schweigen lernte

Der KI-Code-Review-Bot von Greptile wurde zunächst dafür kritisiert, zu viele Kommentare zu generieren. Um dies zu beheben, experimentierten sie mit Prompt Engineering und ließen den LLM seine eigenen Kommentare bewerten, aber diese Methoden erwiesen sich als ineffektiv. Ihr Durchbruch kam von der Vektorisierung früherer Kommentare, ihrer Gruppierung in einer Vektor-Datenbank und der Filterung neuer Kommentare, die denen ähnelten, die zuvor abgelehnt wurden. Dieser Ansatz steigerte die Bearbeitungsrate der Entwickler von 19 % auf über 55 % und reduzierte den LLM-Rauschen erheblich.