AI/LLM開発ツール
LLMのAPIを扱う作業はコードとモデルの間にある形式のデバッグそのものです。OpenAIやGeminiが拒否する構造化出力のスキーマ、SSEとして解析する必要があるストリーミング応答、1行の不正な形式で読み込み全体が失敗するJSONL、コンテキスト上限前に知りたいトークン数。これらのツールは実際にAPIを呼び出さずこうした形式をそのまま扱います。
構造化出力スキーマ検証はOpenAIとGeminiの制約に照らしてスキーマを検証し、SSEイベント解析はどのブロックが実際にディスパッチされるかを見分けます。JSONLビューアは解析エラーの原因となる行を見つけます。テキストチャンク分割は文字数・トークン推定・見出しで分割し、トークンカウンターは複数方式で数え、類似度・距離の計算は複数の指標で比較します。
7個のツール
AI / LLM Dev Toolsツールに関するFAQ
両プロバイダーともJSON Schemaの一部だけをサポートしており、その制約は互いに異なるため、一方で有効なスキーマがもう一方では未対応のキーワードやネストの深さを理由に拒否されることがあります。構造化出力スキーマ検証は送信前に両プロバイダーの制約に照らしてスキーマを検証します。
トークン数はトークナイザーによって変わり、o200k_baseとcl100k_baseはテキストの分割方法が異なるため、同じプロンプトでもモデルの系統によって消費トークン数が変わります。トークンカウンターはどちらのトークナイザーでも数えられ、トークンがどこで区切られるかもID単位で確認できます。
唯一の正解はなく、使う埋め込みモデルのコンテキストウィンドウと、取り出した各チャンクが有用であり続けるためにどれだけ周辺の文脈が必要かによって決まります。テキストチャンク分割は文字数・トークン推定・Markdownの見出しでテキストを分割できるので、戦略を直接比較できます。