AIは、ないものを作り出しません
50/50, 20/20
測定方法 内容を一字一句把握している5つの文書（契約書、保険証券、給与明細、議事録、見積書）に対する50問のひっかけ質問。数値を一切出さずに「記載がない」と答えなければなりません。さらに、答えのある20問では、正しいデータとページを答えなければなりません。
品質の測定値
どの数値にも、測定日と測定に使った文書を添えています。数値が下がれば、下がったことがわかります。そして、負けている点も示します。
現在監視中
カナリアは本番環境で30分ごとに製品を実際に動かしています。直近の実行： 2026-10-05T03:34:32+00:00, 30/31 件の品質チェック
Core Web Vitals p75 (n = 273): LCP 1.21 s ✓ (≤ 2.0 s), INP 72 ms ✓ (≤ 150 ms), CLS 0.943 ✗ (≤ 0.08)
測定している項目
AIが出す数値はすべて文書に由来します
7/7
測定方法 契約書1通と請求書2通を、金額・日付・期限を返す7つのAIツールにかけます。すべての数値は、文書に記載されているか、当社が検算する計算で文書から導かれるものでなければなりません。
Peppol請求書：公式バリデーターと同じ判定
227/227
測定方法 OpenPEPPOLの公式ユニットテスト（BIS Billing 3.0）。それぞれに、公式バリデーターが返すべき判定が付いています。
欧州規格EN 16931の公式ルール
0, BR-CO-16 ✓
測定方法 欧州委員会が公開しているルールをそのまま実行します。公式の例は適合し、合計を改ざんすると、該当するルールが正しく検出されます。
Verifactuのハッシュ
3/3
測定方法 スペイン税務庁のハッシュ仕様書にある公式の例（登録、連結登録、取消）。
TicketBAIのチェックコード
161, 182, ✓
測定方法 ギプスコアの県令521/2020の公式の例と、整合性のとれた偽造（紙面とQRで同じ金額を書き換えたもの）。チェックコードがそれを見破ります。
PAdESデジタル署名
PAdES-BASELINE-LT
測定方法 本番環境で署名し、欧州委員会の公式バリデーター（DSS）で検証しています。
1,000件の請求書を一度に
1000, 5.9 s, 37/37
測定方法 1,000件の請求書（うち37件は改ざん済み）を含むZIP。本番環境での処理時間と、レポートが改ざんされたものを正確に指摘するかを測定します。
本当に翻訳されているか
0
測定方法 159個のツールを中国語で実行し、スペイン語と比較します。翻訳されずに残ったインターフェースのテキストを数えます。
すべてのツールが動作するか
159/159, 159/159
測定方法 159個のツールを、スペイン語と中国語で最初から最後まで実行し、ブラウザーのエラーも監視します。
返す文書もアクセシブルなままか
25/47, Word→PDF ✓
測定方法 PDF/UA-1に適合した文書（タイトル、言語、見出し、リスト、表、代替テキスト付き画像）を、PDFを返すすべてのツールにかけ、基準となるバリデーターveraPDFが結果を判定します。さらに、アクセシブルなWordからのWord→PDFも。
すべてキーボードで、マウスなしで
20/20, 0
測定方法 よく使われる20個のツールを、実際のブラウザーでキーボードだけを使って最初から最後まで操作します。検索、開く、ファイルの選択、求められた項目の入力、実行、ダウンロード。2つ目の数値は、途中にあるアクセシブルな名前のないコントロール（スクリーンリーダーが読み上げる内容）の数です。
実際のスクリーンリーダーで
87/87, 0
測定方法 Orca 46（GNOMEの無料スクリーンリーダー）をChromium上で、マウスなしで使います。トップページとよく使われる22個のツールを、スペイン語、英語、中国語で、Tabキーでたどります。判定するのは、各地点でOrcaが「読み上げる」内容です。数値は、問題（名前のないコントロール、無音、別の言語のテキスト、重複した名前、隠れたフォーカス）が1つもなかった操作の数です。
「アクセシブルにする」で本当にアクセシブルなPDFになるか
10/10
測定方法 タグの「ない」10個のPDF（reportlab、LibreOffice、Chromiumで作成：見出し付きテキスト、画像、リンク、2段組み、フォーム、スキャン、記号）を「アクセシブルにする」にかけ、出力がPDF/UA-1に適合するかをveraPDFが判定します。
性能の低いスマートフォンでも高速
0.6 s
測定方法 CPUを4倍遅くし、低速な4G回線にした状態での、トップページの最大コンテンツの描画時間。
アクセシブル
0
測定方法 axeによるWCAG 2.2（AおよびAA）の違反数：7言語のサイト30ページと、181個すべてのツールをそれぞれのパネルを開いた状態で測定。
負けている点
処理時間の目標を超えているツール（7日間の平均、リアルタイム）
/v1/office/merge-word 21.4 s > 10 s
47個中22個のツールが、アクセシビリティ（PDF/UA）を備えた文書からそれを失わせます
anonymize, booklet, compare-visual, create-form, deskew, edit-text, enhance-scan, grayscale, invert, merge, merge-index, merge-mixed, mix, n-up, overlay, protect, replace-text, scan-effect, stamp, to-single-page, translate, xray-clean
一部のツールは文書の何かを失います
測定した52個のツールのうち、19個は何か（メタデータ、リンク、レイヤーなど）を失います。処理する「前に」、ツールごとに、その文書で何が失われるかをお知らせします。
デプロイごとに1回の失敗
バージョンを切り替えるたびに、切り替えと重なったリクエストがホスティング事業者から502エラーを受け取ります。Webサイトは2秒後に自動で再試行しますが、APIの利用者にはそのまま見えます。
欧州の請求書：まだ完全ではありません
CII請求書向けのPeppolルールや、各国独自のルール（ドイツのXRechnungなど）はまだ適用していません。
ビスカヤとアラバのTicketBAI
チェックコードはギプスコアの公式の例で検証済みです。ビスカヤとアラバについては、検証済みの公式の例がありません（技術基準は共通です）。
ご自身の証明書を使わない署名
ご自身の証明書をアップロードしない場合、署名が証明するのは文書が改変されていないことであり、署名者が誰かではありません。公式バリデーターでは「信頼チェーンなし」と表示されます。
何年も前のAIモデル
使用しているAIモデルのうち7つは、公開から18か月以上たっています。故障するわけではありませんが、回答の質が下がったりコストが高くなったりすることがあります。日付ではなく、新しいモデルが当社のベンチマークで上回ったときに入れ替えます。
ご自身で再現
文書と期待される出力をダウンロードし、PAPYRやほかの製品にかけてみてください。