AI는 없는 것을 지어내지 않아요
50/50, 20/20
측정 방법 한 글자 한 글자 알고 있는 문서 5개(계약서, 보험 증권, 급여명세서, 회의록, 견적서)에 대한 함정 질문 50개: 어떤 수치도 내놓지 않고 “문서에 없어요”라고 답해야 해요. 그리고 답할 수 있는 질문 20개: 데이터와 올바른 페이지.
측정된 품질
모든 수치에 날짜와 측정에 쓴 문서를 함께 적어요. 떨어지면 떨어진 대로 보여요. 그리고 저희가 지는 부분도요.
지금 감시 중인 것
카나리가 30분마다 실제 운영 환경에서 제품을 점검해요. 마지막 점검: 2026-10-05T03:04:30+00:00, 30/31 품질 검사
Core Web Vitals p75 (n = 273): LCP 1.21 s ✓ (≤ 2.0 s), INP 72 ms ✓ (≤ 150 ms), CLS 0.943 ✗ (≤ 0.08)
측정하는 것
AI가 내는 모든 수치는 문서에서 나와요
7/7
측정 방법 계약서 하나와 인보이스 두 개를 금액, 날짜, 기한을 돌려주는 AI 도구 7개에 넣어요: 모든 수치는 문서에 있거나, 저희가 다시 해 보는 계산으로 문서에서 도출되어야 해요.
Peppol 인보이스: 공식 검증 도구와 같은 판정
227/227
측정 방법 OpenPEPPOL의 공식 단위 테스트(BIS Billing 3.0), 각각 공식 검증 도구가 내려야 할 판정과 함께.
유럽 표준 EN 16931의 공식 규칙
0, BR-CO-16 ✓
측정 방법 유럽연합 집행위원회가 공개한 규칙을 그대로 실행해요: 공식 예시는 통과하고, 합계를 변조하면 해당 규칙이 작동해요.
Verifactu 해시
3/3
측정 방법 스페인 국세청 해시 사양서의 공식 예시(레코드, 연결된 레코드, 취소).
TicketBAI 검사 코드
161, 182, ✓
측정 방법 기푸스코아 지방 명령 521/2020의 공식 예시. 그리고 일관된 위조 — 종이와 QR에서 같은 금액을 변경 — 를 검사 코드가 드러내요.
PAdES 디지털 서명
PAdES-BASELINE-LT
측정 방법 실제 운영 환경에서 서명하고 유럽연합 집행위원회의 공식 검증 도구(DSS)로 검증했어요.
인보이스 천 건을 한 번에
1000, 5.9 s, 37/37
측정 방법 인보이스 1,000건이 든 ZIP, 그중 37건은 변조: 실제 운영 환경에서 걸린 시간과, 보고서가 변조된 것만 정확히 표시하는지.
진짜 번역
0
측정 방법 159개 도구를 모두 중국어로 실행하고 스페인어와 비교: 번역되지 않은 인터페이스 텍스트.
모든 도구가 작동해요
159/159, 159/159
측정 방법 159개 도구 전부를 처음부터 끝까지 스페인어와 중국어로, 브라우저 오류까지 감시하며.
돌려 드리는 문서도 접근성을 유지해요
25/47, Word→PDF ✓
측정 방법 PDF/UA-1을 준수하는 문서(제목, 언어, 제목 구조, 목록, 표, 대체 텍스트가 있는 이미지)를 PDF를 돌려주는 모든 도구에 넣고, 기준 검증 도구 veraPDF가 결과를 판정해요. 접근성 있는 Word 파일의 Word→PDF 변환도 포함해요.
마우스 없이 모두 키보드로
20/20, 0
측정 방법 가장 많이 쓰는 도구 20개를 실제 브라우저에서 키보드만으로 처음부터 끝까지: 검색, 열기, 파일 선택, 요청 항목 입력, 실행, 다운로드. 두 번째 수치: 그 과정에서 접근 가능한 이름이 없는 컨트롤(화면 낭독기가 읽어 줄 이름).
실제 화면 낭독기로
87/87, 0
측정 방법 Orca 46 — GNOME의 무료 화면 낭독기 — 을 Chromium에서 마우스 없이: 홈 화면과 가장 많이 쓰는 도구 22개를 스페인어, 영어, 중국어로 Tab 키로 순회해요. 판정 대상은 각 위치에서 Orca가 실제로 읽어 주는 내용이에요. 수치: 문제가 전혀 없는 순회(이름 없는 컨트롤, 무음, 다른 언어의 텍스트, 반복된 이름, 숨은 포커스가 하나도 없음).
“접근성 갖추기”는 PDF를 정말로 접근 가능하게 만들어요
10/10
측정 방법 태그 없는 PDF 10개 — reportlab, LibreOffice, Chromium에서 만든 것: 제목이 있는 텍스트, 이미지, 링크, 2단, 양식, 스캔본, 기호 — 를 “접근성 갖추기”로 처리하고, 결과가 PDF/UA-1을 충족하는지 veraPDF가 판정해요.
평범한 휴대폰에서도 빠르게
0.6 s
측정 방법 CPU를 4배 느리게, 느린 4G 조건에서 측정한 홈 화면의 최대 콘텐츠 렌더링 시간.
접근성
0
측정 방법 axe 기준 WCAG 2.2(A, AA) 위반 사항: 7개 언어의 사이트 페이지 30개와, 패널을 연 상태의 도구 181개 전부.
저희가 지는 부분
시간 예산을 넘는 도구(7일 평균, 실시간)
/v1/office/merge-word 21.4 s > 10 s
47개 도구 중 22개가 원래 접근성(PDF/UA)을 갖춘 문서에서 접근성을 없애요
anonymize, booklet, compare-visual, create-form, deskew, edit-text, enhance-scan, grayscale, invert, merge, merge-index, merge-mixed, mix, n-up, overlay, protect, replace-text, scan-effect, stamp, to-single-page, translate, xray-clean
일부 도구는 무언가를 잃어요
측정한 52개 도구 중 19개가 무언가(메타데이터, 링크, 레이어…)를 잃어요. 처리하기 전에 도구마다, 내 문서가 무엇을 잃게 되는지 알려 드려요.
배포마다 실패 한 건
출시할 때마다 전환 시점과 겹친 요청 하나는 호스팅 업체에서 502를 받아요. 웹은 2초 후 다시 시도하지만, API 사용자에게는 보여요.
유럽 인보이스: 아직 전부는 아니에요
CII 인보이스에 대한 Peppol 규칙과 국가별 규칙(독일 XRechnung 등)은 아직 적용하지 않아요.
비스카이아와 알라바의 TicketBAI
검사 코드는 기푸스코아의 공식 예시로 검증했어요. 비스카이아와 알라바는 검증된 공식 예시가 없어요(기술 표준은 같아요).
내 인증서 없이 서명
내 인증서를 업로드하지 않으면, 서명은 문서가 변경되지 않았음을 증명할 뿐 내가 누구인지는 증명하지 않아요: 공식 검증 도구는 “신뢰 체인 없음”으로 표시해요.
오래된 AI 모델
저희가 쓰는 AI 모델 중 7개는 18개월 이상 됐어요. 실패하지는 않지만 답이 더 나쁘고 비용이 더 들 수 있어요. 날짜 때문이 아니라 새 모델이 저희 벤치마크에서 이길 때 교체해요.
직접 해 보세요
문서와 기대 결과를 다운로드해 PAPYR나 다른 제품으로 돌려 보세요.