この章は、講演の冒頭で示される問題意識を整理します。中心となる問いは、「エージェントのために、自分たちのハーネスを作るべきか」です。ここでいうハーネスは、モデルだけではなく、モデルが仕事を進めるための流れ全体を支える仕組みです。
This chapter organizes the concern raised at the beginning of the talk. The central question is, "Should we build our own harness for an agent?" Here, a harness is a system that supports the entire flow through which an agent does work, not just the model.
司会者は、カスタムハーネスを作ることが現在の重要な関心事だと紹介します。そして、Harrison Chase氏とLangChainを紹介し、ハーネスと評価（evals）についての発表が始まると説明します。これは講演への導入であり、ハーネスの正確な技術定義を提示する説明ではありません。
The moderator introduces building a custom harness as an important current concern. The moderator then introduces Harrison Chase and LangChain and explains that a presentation about harnesses and evals is about to begin. This is an introduction to the talk, not an explanation that gives a precise technical definition of a harness.
したがって、冒頭の歴史的な話や宣伝的な紹介は、技術的な証拠と分けて読みます。司会者は2022年のGPT-3時代からの流れにも触れますが、ここでは詳しい歴史的証拠は示されません。確実に言えるのは、この講演がハーネスを作る判断と、それを測る方法を一つの問題として扱うことです。
Therefore, we read the historical comments and promotional introduction separately from technical evidence. The moderator also mentions the history since the GPT-3 era in 2022, but no detailed historical evidence is provided here. What we can say with confidence is that this talk treats the decision to build a harness and the way to measure it as one problem.
まず、ハーネスとは何か
First, what is a harness?
ハーネスとは、モデルに質問を一度送るだけの部品ではありません。モデルに必要な情報を渡し、モデルの返答に応じて次の処理を進め、必要なら外部のツールやシステムを使わせる仕組みです。つまり、エージェントの実行を組み立て、管理する部分です。後の章では、ハーネスがコンテキストを集め、モデルを呼び出し、ツールの結果を次の処理へ戻す流れを詳しく見ます。
A harness is not a component that simply sends one question to a model. It gives the model the information it needs, moves the next process forward in response to the model's answer, and, when necessary, lets the model use external tools or systems. In other words, it is the part that organizes and manages an agent's execution. Later chapters look more closely at how a harness gathers context, calls the model, and returns tool results to the next step.
モデルだけの仕事とエージェントの仕事
Work done by a model alone and work done by an agent
最も単純な形では、モデルは入力に続く文章を予測します。たとえば、文章の続きを補うオートコンプリートなら、モデルの返答がそのまま結果になることがあります。この場合、必要な情報を準備し、何を実行するかを管理する大きな仕組みは必ずしも必要ではありません。
In the simplest form, a model predicts the text that follows an input. For example, with autocomplete that fills in the continuation of a sentence, the model's response may itself be the result. In this case, a large system for preparing information and managing what to execute is not always necessary.
一方、エージェントは一回のタスクを完了するだけのものとは限りません。講演では、エージェントを仮想的な協働相手（virtual collaborator）のように考える見方が示されます。協働相手なら、依頼を理解し、情報を探し、ツールを使い、途中の結果を見て、次の行動を選ぶ必要があります。ハーネスは、このような複数の処理をつなぐ土台です。
An agent, on the other hand, is not necessarily something that completes a one-time task. The talk presents the view of thinking of an agent as a virtual collaborator. A collaborator needs to understand a request, look for information, use tools, inspect intermediate results, and choose the next action. A harness is the foundation that connects these multiple processes.
例（補足）：短いメールの続きを一文だけ作るなら、モデルへの一回の入力で足りるかもしれません。しかし、社内の資料を探し、内容を確認し、結果をまとめる仕事なら、情報の取得や処理の順番を支えるハーネスが必要になります。この例は考え方を示すためのもので、講演中の具体的な事例ではありません。
Example (supplement): If the task is to create only one sentence continuing a short email, one input to the model may be enough. But if the task is to find internal documents, check their contents, and summarize the result, a harness is needed to support information retrieval and the order of processing. This example is provided to show the idea; it is not a specific example from the talk.
なぜハーネスと評価を一緒に考えるのか
Why think about harnesses and evals together?
ハーネスを作ることと、評価することは別々の作業ではありません。ハーネスが情報の渡し方や処理の順番を変えるなら、エージェントの結果も変わります。そのため、「どのハーネスを作るか」を決めるには、「何をよい結果とみなすか」を先に考える必要があります。評価は、エージェントの動作を決めた基準と比べる方法です。講演では、ハーネスの設計と評価の両方を、知能を自分たちで扱うための一部として見ます。
Building a harness and evaluating it are not separate tasks. If a harness changes how information is provided or the order of processing, the agent's results also change. Therefore, deciding "which harness to build" requires first thinking about "what counts as a good result." An evaluation is a way to compare an agent's behavior with a defined standard. In the talk, both harness design and evaluation are treated as part of handling intelligence ourselves.
例（補足）：同じモデルを使っても、必要な資料を渡すハーネスと、資料を渡さないハーネスでは結果が違うかもしれません。正しい答え、必要な手順、処理時間など、仕事に必要な基準を評価に入れなければ、どちらのハーネスがよいか判断できません。ここで重要なのは、評価の点数を先に決めることではなく、ハーネスの選択と測定の基準が結びついていることです。
Example (supplement): Even with the same model, results may differ between a harness that provides the necessary documents and one that does not. If the evaluation does not include the standards required for the work—such as a correct answer, necessary steps, or processing time—we cannot decide which harness is better. The important point here is not to decide the evaluation score in advance, but that the harness choice is connected to the measurement standard.
この講演の道筋
The path of this talk
この先の講演は、次の順番で進みます。
- エージェントを、モデル・コンテキスト・ハーネスから成る仕組みとして見る
- 汎用的なハーネスが、情報を集めてモデルやツールを動かす流れを確認する
- 既製のハーネスを使う場合と、用途に合わせてカスタムする場合を比べる
- 評価と可観測性（observability）で、結果と実行中の経路を調べる
- 得られた証拠を使って、モデル、コンテキスト、またはハーネスを改善する流れを見る
The rest of the talk proceeds in the following order.
- View an agent as a system made of a model, context, and harness
- Review how a general harness gathers information and runs models and tools
- Compare using an off-the-shelf harness with customizing one for a use case
- Use evals and observability to examine results and the path taken during execution
- Use the evidence to see how to improve the model, context, or harness
この章の結論は、すぐに「自作すべきだ」と決めることではありません。まずハーネスが必要になる仕事の広さを見極め、その仕事でよい結果を測る方法を考えます。そのうえで、汎用的な仕組みから始めるのか、特定の用途に合わせて調整するのかを判断します。次章では、モデル、コンテキスト、ハーネスという三つの部分を分けて、この判断の土台を作ります。
The conclusion of this chapter is not that we should immediately decide to build our own harness. First, determine how broad the work is that requires a harness, and think about how to measure a good result for that work. Then decide whether to start with a general system or adjust one for a specific use case. The next chapter separates the three parts—model, context, and harness—to establish a foundation for this decision.