AI・チャット#指示文の比較#品質#検証

Promptfoo

指示文を変えたとき、本当に良くなったかを比べられる

感覚ではなく、同じ問題を何度も解かせて結果を並べます。悪くなったことにも気づけます。

Promptfooの公式サイトへ ↗Promptfooの開発資料（GitHub）

GitHubのスター数 2.5万GitHub上の更新 2026年9月20日当サイトの確認日：2026年9月20日

まず、ここだけ見れば分かります

料金: 無料ソフトは無料。比較に使うAIの利用料はかかります。
日本語: 日本語なし
対応環境: Windows / Mac / Linux
準備の目安: ★★★設定が多い複数のソフトや接続先などを準備します。設定に慣れた人の手助けがあると進めやすい道具です。
計算用の部品: 専用のGPUは必須ではありませんGPUは、画像やAIなどの計算にも使われる部品です。必要な性能や処理時間は、使う機能・設定で変わります。
必要なもの: Node.js / 使いたいAIのキー

これは何？

AIへの指示文（プロンプト）を比べるための道具です。同じ質問の集まりを、複数の指示文・複数のAIに投げて、結果を表にして並べます。「直したつもりが悪くなっていた」に気づけるようになります。

できること・できないこと

できること

複数の指示文を、同じ問題で比べる
複数のAIを同じ条件で比べる
期待する答えを書いておいて、自動で合否を付ける
結果を表で見る
変更のたびに自動で回す

できないこと

良い指示文を考えてくれること
AIの利用料をなくすこと

こんな人に向いています

AIの答えの質が安定しなくて困っている人
指示文を直しては戻す、を繰り返している人
どのAIが自分の用途に合うか決めたい人

こんなふうに使えます

指示文の変更を検証する
20問ほど用意して投げると、変更の影響がはっきり出ます。勘で直すのをやめられます。
安いAIで足りるか確かめる
同じ問題を高いAIと安いAIに投げて、差が許容範囲かを見ます。費用を下げる判断に使えます。

使いはじめるまで

Promptfooを使うための案内

手順は上から順番に進めます。「入力例」がある場合は、どの画面へ入力するか、どの名前で保存するかを本文で確認してください。

Promptfooの開発資料（GitHub） ↗

上のリンクはPromptfooの開発資料です。GitHubというサイト自体の見方は、共通のGitHub入門で説明しています。

この手順で出てくる言葉の意味

Node.js / npm: Node.jsはプログラムを動かすためのソフト、npmは必要な部品を入れるための道具です。入力例を使う前に準備します。

1始める
この手順で使う入力例
```
npx promptfoo@latest init
```
2比べたいものを書く
設定ファイルに、指示文・使うAI・問題の集まりを書きます。
3実行して見る
この手順で使う入力例
```
npx promptfoo@latest eval
```

つまずいたときはAIに手伝ってもらう聞き方を見てください。使っているパソコンと、どの手順で止まったかを伝えましょう。

いいところ・気になるところ

いいところ

変更の良し悪しが数字で出る
複数のAIを同じ条件で比べられる
自動で回せる

気になるところ

英語のみ
問題の集まりを自分で用意する必要がある
比較のたびにAIの利用料がかかる

Promptfooの開発情報・出典

GitHub上で公開されているPromptfooのプログラムに関する情報です。スター数はGitHubで関心を示した数で、Promptfooの利用者数を表すものではありません。

GitHubのスター数: 25,307（2026年9月20日時点）
ライセンス: MIT
主な言語: TypeScript
GitHub上の更新: 2026年9月20日直近3か月以内に更新されています
開発資料（GitHub）: https://github.com/promptfoo/promptfoo
公式サイト: https://www.promptfoo.dev/
当サイトでの確認日: 2026年9月20日

スター数・ライセンス・主な言語・最終更新は、2026年9月20日に GitHub から自動で取得した値です。ライセンスの補足と、説明文・準備の目安の判定は当サイトが書いています。ライセンスや料金は変わることがあるので、使う前に必ず公式の情報をご確認ください。

次に見るなら

READ

このツールが出てくる記事

🏠特集自分の場所でAIを動かす。1人で試すところから、チームで使う形まで›

SIMILAR

似たツール

同じことができる、または一緒によく使われるもの