この節では、既製のハーネス（off-the-shelf harness）をいつカスタマイズするべきかを考えます。話者の考えでは、仕事がモデルの学習時の分布から遠くなるほど、カスタムハーネスを使う理由が強くなります。ただし、すべてを作り直すという意味ではありません。モデルに合う部分は残し、外側の仕事の流れを調整します。
This section considers when to customize an off-the-shelf harness. In the speaker's view, the farther a task moves from the distribution seen during model training, the stronger the case for a custom harness becomes. This does not mean rebuilding everything. Keep the parts that fit the model and adjust the outer workflow.
「分布の内側」と「分布の外側」
“In Distribution” and “Out of Distribution”
ここでいう分布（distribution）とは、モデルが学習などを通して、どのような入力、作業、結果の組み合わせに慣れているかという範囲です。ある仕事がその範囲に近ければ、in distribution（分布の内側）です。範囲から遠ければ、out of distribution（分布の外側）です。これは、仕事を二つに完全に分ける正式な境界ではありません。連続したずれとして考えます。
Here, distribution means the range of combinations of inputs, tasks, and results that a model is familiar with through training and other experience. If a task is close to that range, it is in distribution. If it is far from the range, it is out of distribution. This is not a formal boundary that divides all tasks into two groups. Think of it as a continuous shift.
法務AIでは、外側と内側が同時に存在する
An Outer and an Inner Layer Can Exist Together in Legal AI
話者は法務AI（legal AI）を例に挙げます。法務の仕事全体は、モデルにとって分布の外側にあるかもしれません。一方で、その仕事の中にある「ファイルを編集する」という小さな操作は、モデルにとって分布の内側にある可能性があります。つまり、外側の大きな目的と、内側の一つの操作は、同じ分布にあるとは限りません。
The speaker gives legal AI as an example. The overall legal task may be out of distribution for a model. At the same time, the smaller operation of editing a file inside that task may be in distribution for the model. In other words, the larger purpose and one operation inside it do not have to belong to the same distribution.
例：入れ子になった仕事
Example: A Nested Task
- 外側の仕事：法務AIが、法律文書を調べ、重要な点を整理し、結果を決まった形式のファイルにまとめます。ここでは、法務という領域に合う順序や判断が必要です。
- 内側の操作：エージェントが、そのファイルを開き、指定された場所を書き換えて保存します。このファイル編集の実装は、使っているモデルに合うものを選べます。
- Outer task: A legal AI system researches legal documents, organizes important points, and puts the result into a file with a required format. This requires a domain-appropriate order and judgment.
- Inner operation: The agent opens the file, changes the specified location, and saves it. The implementation of this file editing can be selected to fit the model in use.
この場合、話者が勧めるのは、法務の流れを管理する外側のハーネスをカスタマイズすることです。法務文書をどう集めるか、どの段階で確認するか、どの形式で結果を出すかを、用途に合わせて組み立てます。しかし、ファイル編集まで一般的な処理に置き換える必要はありません。モデルが得意とするファイル編集の動きは、残しておく方がよい場合があります。
In this situation, the speaker recommends customizing the outer harness that manages the legal workflow. Assemble it for the use case: decide how to collect legal documents, when to check the work, and which format to use for the result. However, there is no need to replace file editing with a generic process as well. It may be better to keep the file-editing behavior that the model handles well.
モデルプロファイルで内側の実装を選ぶ
Choose the Inner Implementation with Model Profiles
話者によれば、OpenAIのモデルとClaudeのモデルは、ファイルの編集方法が異なります。ここで重要なのは、どちらの方法が常に優れているかを決めることではありません。使うモデルに合わせて、適切な小さな処理を選ぶことです。
According to the speaker, OpenAI models and Claude models edit files in different ways. The important point is not to decide that one method is always better. It is to select the appropriate small operation for the model being used.
モデルプロファイル（model profile）は、その選択をするための仕組みです。現在のモデルを確認し、そのモデル向けの「ファイル編集」実装へルーティングします。このようにすると、法務AIの外側の流れは共通にしながら、モデルに近い内側の操作だけを交換できます。
A model profile is a mechanism for making that choice. It identifies the current model and routes the request to a file-editing implementation for that model. This lets the outer workflow of a legal AI system stay common while only the inner operation close to the model is exchanged.
カスタマイズは段階で考える
Think of Customization as a Spectrum
分布のずれが大きくなると、ハーネスを調整する必要性も大きくなります。これは、既製か完全自作かを一度に選ぶ二択ではありません。話者の考え方を整理すると、次のような段階になります。
As the distribution shift grows, the need to tune the harness also grows. This is not a one-time choice between off-the-shelf and completely custom. When the speaker’s idea is organized, it forms a spectrum like this.
- 仕事がモデルの得意な範囲に近いなら、既製のハーネスから始めます。
- 仕事を特定の用途に絞るなら、必要な場所にゲート、確認、要約、ツール処理を加えます。
- 仕事の流れがさらに専門的になり、順序を明確に管理したいなら、外側にドメイン特化のハーネスを作ります。その中でも、モデルに合う操作はモデルプロファイルで使い分けます。
- If the task is close to what the model does well, start with an off-the-shelf harness.
- If the task is narrowed to a specific use case, add gates, checks, summarization, or tool handling where needed.
- If the workflow becomes more specialized and its order must be controlled explicitly, build a domain-specific harness around it. Within that harness, use model profiles to choose operations that fit the model.
この段階は、話者が示した定量的な判定表ではありません。正式な「分布の内側・外側」のしきい値も、話の中では示されていません。大切なのは、一般的なハーネスを出発点にし、必要な部分だけを少しずつ専門化することです。カスタム化は、エージェント全体を書き直すこととは限りません。ミドルウェアの追加や、モデル固有の小さな実装の交換だけで済む場合もあります。
This spectrum is not a quantitative decision table provided by the speaker. The talk also gives no formal threshold for being in or out of distribution. The important point is to start with a general harness and specialize only the parts that need it, step by step. Customization does not necessarily mean rewriting the whole agent. It may be enough to add middleware or exchange a small model-specific implementation.
話の主張と不確実な点
The Speaker’s Claims and Uncertain Points
ここで説明した分布、法務AI、モデルプロファイルについての説明は、講演での話者の主張を整理したものです。話者は、ファイル編集の能力と強化学習（reinforcement learning）にも広く触れていますが、ここでは各モデルの訓練の歴史を検証していません。また、講演中に出てくる既製製品の名前には、文字起こしの不確かな箇所があります。その名前を正しく直すことより、モデルに近い操作と、用途に合わせる外側の流れを分けて考えることが重要です。
The explanations here about distribution, legal AI, and model profiles organize claims made by the speaker in the talk. The speaker also broadly mentions reinforcement learning in connection with file-editing ability, but this lesson does not verify the training history of any model. Some names of off-the-shelf products in the talk are uncertain because of the transcript. Rather than correcting those names, focus on separating operations close to the model from the outer workflow adapted to the use case.
モデルが見慣れている操作は、そのモデルに合う実装として活用します。モデルが見慣れていない大きな領域の仕事は、外側のハーネスで調整します。分布のずれが大きいほど、ゲートや確認を増やし、必要なら専門的な流れを組み立てます。この考え方なら、モデルを固定せずに、ハーネスの制御とモデル固有の強みを両方保てます。
Use operations that the model is familiar with as implementations suited to that model. Adjust the outer harness for work in a larger domain that the model is less familiar with. As the distribution shift grows, add gates and checks, and build a specialized workflow if needed. This approach preserves both harness-level control and model-specific strengths without locking the system to one model.