Ichizokuは日本唯一のSentry公認販売業者です。
日本語のドキュメント、動画、サポート窓口で日本のお客様のSentry活用を支援します。

AIアシスタントに対する考え方を変えたSentryのAI

Article by: Dan Mindru

 

ブロックチェーン、IoT、ビッグデータ…

テクノロジー業界で長く働いていると、こうしたバズワードが時折現れては話題をさらい、やがて輝きを失っていく光景を何度も見ます。多くの流行が生まれては消えるのを経験してきた私は、つい懐疑的になってしまいます。

今回も、「今度は何を売り込もうとしているのか」と考えてしまいました。これを「愚痴っぽい」と言う人もいれば、「エンタープライズ・アーキテクト的だ」と言う人もいます。だから、AIアシスタントを最初は単なるバズワードだと思っていたことを、どうかお許しください。所詮は、きれいな箱に入った5つの API 呼び出しにすぎないと思っていたのです。

ところが、私は大きく間違っていました。

 

AIアシスタントとは

平たく言えば、AIアシスタントは販売管理から会議のスケジュール調整、コピーライティングまでを、少ない手間で短時間にこなす有能なチームメイトのような存在です。複数のプロンプト、API 呼び出し、認証、ユーザー入力を組み合わせて構築され、必要に応じてワークフローを自動的に計画できます。

万能でも低価格でもありませんが、すでに私たちの働き方を変えつつあります。さらに、AI の総コストが下がりつつある現状を踏まえると、AI 機能を実装する際の主流の選択肢になる可能性があります。

詳しく知りたい方は、AI エージェントに関する記事もご覧ください。ご自身のアプリでの活用方法を解説しています。

 

 

すべてが始まったバグ

私は「技術的に進んでいない」と感じていたため、しばらくの間、AIアシスタントを軽視していました。それは「ただの AI」に、ほんの少し装飾を加えた程度のものだと思っていたのです。しかし、インディーハッキングでの経験から学んだのは、製品を作るうえで重要なのは先進的な技術そのものではなく、解決できる問題だということです。

AIアシスタントは間違いなく強力なツールです。ただし、大きな力には大きな責任が伴います。すべての問題を解決できるわけではなく、最速の手段とも限りません。それでも、確かに有用な使用例があります。

私が信じていなかった理由のひとつは、そうした使用例を実際に見たことがなかったからなのですが、ある日、お気に入りのモニタリングプラットフォームで見つけた機能が、私の視野を大きく広げることになったのです。

その機能とは、Sentry の AI Autofix(現在はベータ版ですが、まもなく一般公開されるでしょう)です。すべては、ほとんどの良い話がそうであるように、一通のメールから始まりました。私のように「バグなんて書かない」という方でも、これはきっと驚かれると思います。

誤検出に違いないと考え、「Sentry で表示」をクリックして事態を確かめました。

そして… このあと何が起こったのか、きっと信じられないでしょう…。

 

 

私が初めて感動した AIアシスタント
AI Autofix

問題を開いた瞬間、自分の能力を過大評価していた可能性がすぐに明らかになりました。

「これは、例外が規則を証明するケースに違いない」と、自分に言い聞かせます。

しかし、問題ビューの右上隅にあるソリューションハブが目に入りました。原因はどう見ても間違っていて、私は思いました。

 「なるほど、Sentry も AI ブームに乗ってきたか。今日は大きく失望させられるかもしれないな」と。

……冗談はさておき、最初は単なる一発のプロンプトに見えました。ですが、私の興味を強く引いたのは「Open Autofix」ボタンです。Sentry はこの問題に対して豊富なコンテキストを保持しています。コードベース、ソースマップ、例外の詳細、さらには多数の匿名ユーザープロパティまで。人間にとって Sentry が有用であるのと同じ理由で、AI にとっても有用になり得ます。

そして、そのボタンを押した瞬間、この機能は単なるギミックではないと確信しました。

 

 

初期分析と自己修正

この作業の最初の段階では、ユーザーからの入力は必要ありません。AIアシスタントは、ルート原因を特定しようとするフィードバックループに入り、いくつかのステップを経て関連するソースコードをコンテキストに追加します。

興味深いのは、その結果、初期の表面的な原因特定とは矛盾する結論に至り、より優れた解決策を導き出す点です。実際、この様子を見ていると、奇妙なほど人間らしく感じられ、少し怖さすら覚えます。

ChatGPT をこうした問題に使った経験があれば、このような回答を得るのが容易ではないことをご存じでしょう。新しい推論モデルを用いても、しばしば初期の表層的な原因に近い回答が返ってきます。

さらに驚くべきことに、コードベースの文脈を保持していても、GitHub Copilot や Cursor といった開発支援ツールは、この水準に到達できません。以下は、Copilot による Claude 3.5 Sonnet の提案例です。

ご覧のとおり、Copilot は的外れな潜在的原因をいくつか示しています。また、ログ記録やエラーハンドリングを追加するコード変更も提案していますが、このケースではあまり有効ではありません。もちろん、プロンプトを調整し、人間が介入すれば同等の結果に近づけるでしょう。しかし、Autofix が自己進行で正しい方向に向かえる能力には、大きな感銘を受けました。

そして、息つく間もなく、これからが本番です。

 

 

新たな親友とともに修正法を探す

根本原因が特定された後、提案された修正をそのまま利用するか、自分で別の提案を入力するかを選べます。これは非常に便利な機能で、人間が新しいアイデアを得るきっかけにもなります。ここで私は、AIアシスタントが真価を発揮する場面を理解しました。

人間からの入力に反応できる能力は、AI を指数関数的に強力にします。それは、完璧な答えを一度で予測することではなく、人間の反応に適応できる力です。今回は提案された根本原因が十分に的確だったため、そのまま採用しました。

ボタンを押すと、修正へ向けた次のステップが始まります。

再びアシスタントを指示する機会があり、今回は修正案を受け入れました。コードスニペットをざっと確認すると、私が行っていた GitHub リクエストに認可や認証が一切使われていないことがわかりました。当然、これではブロックやレート制限の対象となり、私にはほとんど制御できません。そこで、修正を進めます。

技術的な実装に興味がある方のために付け加えると、Sentry はこの仕組みを GitHub 上でオープンソースとして公開しています。

この時点で、私は AIアシスタントに対する認識が誤っていたことを認める準備ができていました。これは現行の AI 技術を強化する優れた方法です。とはいえ、Sentry がここで終わることはありません。彼らのプラットフォームを使って学んだのは、何かをやるときは全力でやるか、まったくやらないかだということです。たとえば SDK を求めると、単一言語どころか、すべての言語分を用意してくれます。

つまり AIアシスタントは、自己進行し、必要なコンテキストと既存の実装を理解し、それを修正する計画を立てられるのです。しかも、それだけではありません。

 

 

実装とプルリクエストの作成

皆さんもお気づきかと思いますが、Autofix が不確実性や理解のギャップに遭遇したときは、仮定を立てる代わりに私の意見を求めました。これは実装の作成(ちなみに、かなりすばらしいです!)にも同様に当てはまります。

ここでは3つの選択肢が提示されます。

  • 承認する
  • 繰り返す
  • テストを追加する(これは特に優秀)

 

この段階でのやり取りは、まるで開発者と並んで作業しているかのようです。しかもこの新人はクラスのトップだったに違いありません。理由は、彼が行った仕事があまりにも優秀だったからです。印象に残った点を挙げてみます。

  • 新たなメソッドを作らず、既存のコードを拡張した
  • 既存のファイル構造を活用した
  • 適切なエラーハンドリングを伴うクリーンなコードを書いた
  • 提案した実装が初回でそのまま動作した 🤯

この成果がアシスタント自身の能力によるものか、それとも近年のL LM が著しくコード生成能力を高めているからなのかはわかりません。しかし、この時点で私が確信したのは、AIアシスタントは単なる流行ではないということです。既存製品をさらに優れたものにするだけでなく、自ら新しい製品カテゴリを生み出す力があります。

そして極めつけは、GitHub でプルリクエストを直接作成できることです。

しかも、その説明文とタイトルまで完璧に整えてくれます。

すごいと思いませんか?

 

 

最終的な考察

この一連の作業を終えて、私はワークフロー全体に圧倒されました。それはまるで未来を体験しているような感覚でした。当然のように、私は𝕏に飛び込み、自慢せずにはいられませんでした。

一部の製品は、保持している豊富なコンテキストを活用することで、AIアシスタントに絶大な可能性を与えます。Sentry は間違いなくそのひとつです。そして今、実際にその機能を試してみたことで、私は確信しました。

もちろん、私の理解ではまだいくつかの制限があり、常に正確な結果が得られるわけではありません。しかし、人間の入力を受け入れるという特性は、Autofix や AIアシスタント全般が単なる流行ではなく、AI の次のステージであると確信させるに十分でした。少なくとも、DeepSeek が新しいモデルをリリースするまでは……おそらく明日にでも。

追伸:詳細を知りたい方は、ぜひ実装を確認してください。オープンソースの GitHubで公開されています。AI Autofix を試し、私が感銘を受けたように、その実力を実感してみてください。きっと驚かれるはずです。

 

Original Page: How Sentry’s AI Autofix Changed my Mind About AI Assistants

 

 




IchizokuはSentryと提携し、日本でSentry製品の導入支援、テクニカルサポート、ベストプラクティスの共有を行なっています。Ichizokuが提供するSentryの日本語サイトについてはこちらをご覧ください。またご導入についての相談はこちらのフォームからお気軽にお問い合わせください。

 

シェアする

Recent Posts