AIにもっとデバッグをうまくさせるには？重要なのは「コンテキスト」

AI を活用したコード生成ツールによって、これまでになく大量のコードが次々とリリースされています。いまは開発者にとっての黄金時代と言っていいでしょう。

しかし、ひとつ重要な事実があります。ソフトウェアは依然として本番環境で壊れてしまいます。Microsoft が最近行った調査によると、AI モデルはソフトウェアのデバッグを苦手としていることがわかりました。その理由は、多くのコード生成ツールで、優れた開発者なら誰もが頼りにしているたった1つのもの、「コンテキスト」が欠けているからです。

何かをデバッグしようとするなら、コンテキストが必要です。AI ツールがあっても、この前提は変わりません。AI は学習データを超えて、実際のエラーやトレースデータ、ブレッドクラム、スタックトレース、コードベース全体、コミット履歴などにアクセスできる必要があります。

AI があるかどうかにかかわらず、デバッグにはコンテキストが欠かせないのです。

AI 時代のデバッグに不可欠なのはコンテキスト

Sentry はこの10年あまりの間に、13万以上の組織がソフトウェアの不具合をすばやくデバッグできるよう支援してきました。Sentry 独自のコンテキストを提供することで、エンジニアリングチームが本番環境でのデバッグを従来の 10 倍の速さで行うことができるようにしています。

何かが壊れたとき、開発者は次のようなことを知る必要があります。

• 問題はいつ発生し始めたのか。
• 壊れる直前に「何が変わった」のか。
• 影響を受けているのは 1 人のユーザーか、それとも多数なのか。
• どのプラットフォーム／デバイス／リリースに影響しているのか。
• 問題の起点はどこか。自分のコードなのか、それとも依存している外部要因なのか。

Sentry はこれらの問いに答えるだけでなく、次の情報もあわせて提示します。

• どの関数やコード片が失敗しているのかを正確に把握するためのスタックトレース
• エラーの前後で、アプリケーションがエンドツーエンドでどう振る舞っているかを確認するためのトレースとログ
• フロントエンドでデバッグしている問題に、バックエンドエラーが関係しているかどうかを確認できるようなトレースでつながった関連 Issue
• 例外の前後でどのようなアクションが行われたかを把握するための Sentry のブレッドクラム
• 各関数がどのようなパフォーマンス特性を示しているかをよりよく理解するためのプロファイリングデータ

こうしたコンテキストのすべてが、長年にわたって Sentry を開発者にとって非常に有用な存在にしてきました。そしてこれは、障害が発生したときに本当に問題を修正するために、他の AI ツールにも必要でありながら、まだ備わっていないまさにそのコンテキストでもあるのです。

Seer：Sentry の AI エージェントのご紹介

本番環境の問題の根本原因を94％を超える精度で特定できるとしたらどうでしょうか。私たちが Seer を開発してきたのは、まさにそのためです。Seer は Sentry にしか作れないツール群の上に構築された、豊富なコンテキストを備えた AI エージェントです。

Seer はあなたの Sentry プロジェクトとコードベースからコンテキストを収集し、他のどのエージェントにも真似できないかたちで「本番環境でコードがどのように動いているか」のマップを構築します。これまでに挙げたあらゆる情報を分析し、それにもとづいて判断を下すことができます。

Sentry が取得したあらゆる例外のコンテキストを持っているだけでなく、コードベースからのコンテキストも取り込み、次のようなことができるレベルにまで到達しています。

• grep 検索の実行
• ドキュメントのレビュー
• コミット履歴の分析
• ファイルの更新
• 提案された修正によって破壊的変更が入り込まないよう、複数のリポジトリをまたいで確認