08

13:06 - 14:41

可観測性でエージェントの失敗への道筋を明らかにする

この章では、エージェントが失敗したときに、モデルだけを疑ってはいけない理由を見ます。話者は、失敗の原因として「モデルの能力が足りない場合」と「モデルに渡されたコンテキストが足りない、または適切でない場合」の二つを挙げます。そして、話者の見方では、後者のほうがより多く起きます。

悪い結果が出ても、それだけで「このモデルは弱い」とは言えません。モデルが必要な情報を持っていても答えられなかった可能性はあります。しかし、ハーネスが必要な情報を集めず、モデルに渡さなかった可能性もあります。ここを分けて考えることが、次の修正を選ぶ出発点です。

ここでいうコンテキストは、モデルのコンテキストウィンドウに入る情報の全体です。最初の指示だけではありません。前の会話、記憶、ツールから返った結果、途中の判断なども、実行が進むにつれて積み重なります。したがって、ハーネスが「必要な情報を、必要な時に」入れられたかを調べないまま、モデルを交換しても、同じ失敗が残ることがあります。

可観測性は実行の中身を見えるようにする

話者が説明する可観測性(observability)は、エージェントの実行を外から確認できるようにする仕組みです。少なくとも、次のことを追える必要があります。

  • コンテキストウィンドウに実際に何が入ったか
  • 実行が進む間に、そのコンテキストがどう積み重なったか
  • どのステップが、どの順番で動いたか
  • どのツールが呼び出され、何を返したか
  • どのモデル呼び出しが、その時点の処理を進めたか

これは、前の章で見たハーネスの役割と直接つながります。ハーネスはコンテキストを組み立て、モデルを呼び出し、モデルの応答にしたがってツールを動かし、外部システムの観察結果を次のモデル処理へ戻します。可観測性があれば、この流れを後からたどれます。つまり、ハーネスが正しい情報を正しい時点で渡したかを調べられます。

軌跡と完全なトレースは同じではない

補足として、軌跡(trajectory)は、エージェントの実行中に見えるメッセージや対話ステップを並べたものです。人が読む会話の記録に近いので、全体の流れをすばやく確認するのに向いています。たとえば、要求、モデルの返答、ツールの結果、次の返答という順序を一覧できます。

一方、完全なトレース(trace)は、一覧より深く調べられる記録です。個々のモデル呼び出しやツール呼び出しを開き、その時の詳細を確認できます。どの入力が渡されたか、どの処理の内側で問題が起きたかを、必要な場所まで掘り下げます。正確な項目名や画面の入れ子構造は、今回の資料だけでは分かりません。

使いやすい画面では、すべてのツール呼び出しを最初から開かず、いくつかを折りたたんで表示できます。この短い表示は、長い実行をざっと読むのに便利です。ただし、折りたたまれた表示だけでは完全なデバッグにはなりません。問題の原因を調べるときは、必要な呼び出しを展開して、入力、結果、前後のステップを確認する必要があります。

図:暗いエージェント・トレース画面に、スレッド形式の実行、ツール呼び出しの詳細、折りたたまれたツール呼び出しの要約が表示されています。

この画面は、複数のツール呼び出しを一つの短い要約として表示し、周囲の画面から実行の詳細を確認できることを示します。

2 more

この表示は、すばやく読むときは全呼び出しを展開しなくてよい、という説明を支えています。ただし、画面だけでは、呼び出しを開いたり隠したりする操作までは確認できません。

トレースを使って失敗の道筋をたどる

例として、エージェントが外部ツールから情報を受け取った後、最終回答を誤ったとします。まず、最終回答だけを見てモデルを交換するのではなく、トレースを前から確認します。最初のコンテキストに必要な条件があったか、ツールの結果が次のモデル呼び出しに入ったか、途中の要約で重要な情報が失われなかったかを調べます。もし必要な情報が最初から入っていなければ、問題はモデルの能力よりもコンテキストの組み立て方に近いかもしれません。情報が正しく入り、手順も正しいのに答えられなければ、モデル側の能力不足を試す価値が高くなります。これは説明のための例であり、特定の製品や実行結果を報告するものではありません。

評価(eval)は、エージェントの結果が決めた基準を満たしたかを判断します。トレースは、その結果に至る途中で何が起きたかを調べる材料を出します。したがって、評価の点数だけでは「次に何を変えるか」が分からないことがあります。反対に、トレースを見ても、どの結果を良いと呼ぶかという組織の基準は決まりません。両方を組み合わせると、点数が悪かった実行の原因を仮説にし、ハーネス、コンテキスト、またはモデルのどこを変えて再評価するかを選べます。

この章での「コンテキストのほうが多くの原因になる」という話者の主張は、数量で示された結果ではなく、話者の意見または観察です。また、資料には完全なトレース画面のすべての項目や、内部の入れ子構造は示されていません。ですから、可観測性があれば必ず原因を一意に特定できる、とまでは言えません。

まとめ

エージェントの失敗を理解するには、結果だけでなく、そこへ至る道筋を見る必要があります。軌跡は全体を読むための入口です。完全なトレースは、コンテキストの積み重なり、各ステップ、ツール、モデル呼び出しを詳しく調べる場所です。評価が「何が良かったか、悪かったか」を示し、可観測性が「なぜそうなったか」を調べる手がかりを与えます。この組み合わせによって、次に試す変更を、モデル交換だけに決めつけずに選べます。

100% スペースキーとドラッグで移動 | Ctrl/Cmdとホイールで拡大縮小