AIがコードを書き、AIがレビューする?それは馬鹿げているのか?

2025-05-01
AIがコードを書き、AIがレビューする?それは馬鹿げているのか?

Greptileの共同設立者であるDakshは、DevinというAIコード生成ツールが、いかなる人間エンジニアよりも多くのプルリクエストを送信していることを発見しました。これは興味深い疑問を提起します。AI生成コードはAI自身によってレビューされるべきでしょうか?LLMはステートレスですが、各呼び出しは独立しています。しかし、これはAIが自身のコードを完璧にレビューできるという意味ではありません。AI生成コードは効率を向上させますが、人間が見つけるのが難しいバグを導入する可能性があります。研究によると、AIは特定の種類のバグを見つけることに関して人間よりも効果的ですが、その精度はまだ向上させる必要があります。最終的に、この記事は、完璧ではないものの、AIコードレビューは、AI自身によって導入された特定の種類のバグを見つけることに関して、人間よりも効果的であると主張しています。

続きを読む
開発

LLMで面白いミームを生成するのは意外に難しい

2025-01-06
LLMで面白いミームを生成するのは意外に難しい

ウォータールー大学のインターンが、LLMとGreptile APIを使って、GitHubリポジトリをからかうミームを生成するアプリを作ろうと試みました。このプロセスは予想外に困難であることが判明しました。LLMに直接ミームのテキストを生成するように指示すると、一般的な結果しか得られませんでした。そこで、コード分析(Greptileを使用して具体的な問題点を特定する)とミームテキスト生成(LLMを使用してターゲットを絞ったユーモアを作成する)という2つのタスクに分割しました。テキスト処理の限界により、画像生成は困難で、事前に作成されたミームテンプレートとnode-canvasを使ってテキストを挿入することになりました。これらの障害にもかかわらず、このプロジェクトは、カスタムのコードからかうミームを生成できるウェブサイト、reporoast.comとして結実しました。

続きを読む

AIコードレビューボットが黙るようになった方法

2024-12-21
AIコードレビューボットが黙るようになった方法

GreptileのAIコードレビューボットは、当初、コメントが多すぎるという批判に直面していました。これを解決するために、プロンプトエンジニアリングやLLMによる自己評価を試みましたが、これらの方法は効果がありませんでした。ブレイクスルーは、過去のコメントをベクトル化し、ベクトルデータベースでクラスタリングし、以前に却下されたコメントと同様の新しいコメントをフィルタリングすることでした。このアプローチにより、開発者の対応率が19%から55%以上に上昇し、LLMノイズが大幅に減少しました。

続きを読む