C3 · Mercado — ferramentas para gerar o critério e para executar o oráculo

Camada C3 do estudo WebTestPilot · v2.2 · corte 27 ago 2026 Público: quem vai escolher peças. Critério de qualidade: todo N4 datado e reproduzível (gh api, curl, npm); toda capacidade de produto marcada N3. Estes dados envelhecem — script de reverificação em pesquisa/ferramentas.md.

1 · As duas perguntas, e o veredito

O problema tem duas metades e o mercado responde às duas de maneiras radicalmente diferentes.

Gerar o critério de julgamento — dado um fluxo e uma tela, qual relação deve valer entre a execução-fonte e a seguidora. Trabalho de especificação.

Executar e monitorar o oráculo — dirigir o navegador duas ou mais vezes, controlar estado e tempo, extrair a projeção de cada execução, avaliar a relação, reportar violação com evidência. Trabalho de infraestrutura.

Veredito. Nenhum produto comercial se descreve como teste metamórfico E2E de navegador. Sustentado por 15 buscas de mercado em 27/08/2026 (7 em gh api search auditáveis, 8 em índice web incluindo os sites de 13 fornecedores — § 9) e por mais 40 buscas de uma leitura adversarial (registro em pesquisa/revisoes/v2/R2-redteam.md) por sinônimos, registros de pacote, HN, DBLP, arXiv e quatro idiomas. Três ressalvas obrigatórias: Bombadil (Antithesis, MIT, jan/2026, 24 repos consumidores, 9 de terceiros com specs próprias — § 3.3) executa em navegador relações entre estados consecutivos que equivalem a MR-A1/MR-A2/MR-A6/MR-A7/MR-B1/MR-B2/MR-C7/MR-C10 — o playground do autor tem filterFromAllShowsFewerItems — sob o nome de propriedade temporal de sessão única (família P na nota do C1); é P ∩ D e concorrente direto da Fase 2, faltando só o par em contextos separados, a validação e a falsificação. metamorph (tese, 0 ★, sem licença) é o único artefato Playwright + MT — para OSS o vazio não é absoluto. E onde MT vira produto hoje é em saída de IA (topic:metamorphic-testing: 46 repos, maioria de 2026 sobre LLM; testRigor, QA Wolf) — o único lugar com demanda comercial. [protocolo · A01]

O que existe é um mercado que resolveu muito bem a metade da infraestrutura e quase nada da metade da especificação. A camada de execução — dirigir o browser, congelar o tempo, isolar sessão, capturar evidência, rodar em CI, monitorar produção — está madura, é barata e majoritariamente open source. A camada que produz o critério tem, fora da academia, uma resposta comercial: pedir a um LLM que olhe a tela e opine em linguagem natural. E em 2026 essa resposta se consolidou também na triagem: Momentic, Datadog, Checkly e mabl puseram LLM no passo "isto é bug ou ruído?" em três meses (§ 7).

A consequência prática: a parte cara está construída — para o navegador. Para o estado, não (C4). O que falta construir na camada que gera o critério (§ 2, camada 4) é pequeno, específico, e é onde a diferenciação estaria — se o comprador quisesse comprar garantia em vez de custo de autoria (divergência D2 — o mercado não compra especificação, ou não compra ainda? — § 7).

2 · O modelo de camadas

A fronteira que importa. No oráculo em execução quem toca a página é a biblioteca Playwright, chamada em processo pelo harness. @playwright/mcp e @playwright/cli são transporte de agente e só aparecem na descoberta. Qualquer transporte no caminho de execução põe um modelo entre a execução e o veredito — o que a regra "o veredito é código" proíbe (C2 § 7.3). Os Playwright Test Agents oficiais falam MCP, não CLI (§ 4).

3 · Camada a camada

3.1 Camada 1 — driver e infra de navegador

Playwright, versão 1.62.1 (30/07/2026). Decisão com pouca margem. O que a camada 2 exige do driver: browser contexts baratos ("fast and cheap to create", doc), page.clock e routeFromHAR nativos, e ARIA snapshot como candidata a projeção — detalhe de versão (o que 1.59–1.62 acrescentou e o que quebrou) no C4 § 2 e ADR-11. page.clock não mudou entre 1.59 e 1.62.

Por que não Cypress: roda dentro da aba da aplicação, o que dificulta dois contextos verdadeiramente independentes — o que um par exige. cypress tap (15.21, ago/2026) é transporte de agente, não muda isso. Selenium serve, mas reimplementa-se relógio, HAR e snapshot à mão.

Infra de navegador. Um oráculo metamórfico consome 2× a n+1 vezes os navegadores de uma suíte convencional. Preços de página oficial, 27/08/2026 (N3):

Leitura: Anchor é o mais barato por hora, mas cobra criação — e MT cria um contexto por seguidor, o que fere o isolamento se reutilizar navegador. Steel Launch limita sessão a 15 min: partição n+1 sequencial estoura. Grids por slot são o modelo errado para fan-out. No alvo AWS, a opção padrão é não sair da conta (C4); se sair, Steel Scale é a de licença limpa e limite compatível.

3.2 Camada 2 — determinismo e isolamento

Um oráculo metamórfico é uma máquina de comparar duas execuções; toda fonte de não-determinismo que sobrar aparece como violação. Número do metamorph sem essa camada: 20% de drift, 34% de falha de execução em replay (C2 § 6.2).

3.3 Camada 3 — motor de relação

3.4 Camada 4 — geração do critério

Despovoada. Nenhum produto, comercial ou OSS maduro, gera MRs para uma aplicação web. O que existe está no C2 § 5: protótipos que exigem artefatos que E2E não tem (suíte unitária, código analisável, mutantes baratos, spec OpenAPI) e um que roda em navegador — o metamorph, com molde travado, one-shot, saída Zod, e sem validação contra baseline.

O que o mercado oferece no lugar: asserção em linguagem natural julgada por LLM (Momentic "AI Checks", mabl, qa.tech, testRigor, Autify Genesis/Aximo, BrowserStack Test Companion). É a família F — o julgamento é o ponto de falha, e a própria doc da Momentic manda envolver passos agênticos em asserções explícitas porque são "flexíveis e não-determinísticos". Uma MR, ao contrário, é avaliada por comparação determinística: o modelo pode errar ao propor a relação, mas não participa do julgamento. A assimetria que torna a camada construível está quantificada no C2 § 5.

3.5 Camada 5 — projeção e comparação

A decisão mais subestimada do projeto. Screenshot não é projeção primária — carrega tudo que a camada 2 eliminou (antialiasing, animação a meio caminho, scrollbar, sombra sub-pixel), e a linha WebDiff → X-PERT abandonou imagem como detector por falso positivo (C2 § 7.2, N1). ARIA snapshot e locator tipado são a projeção: estruturados, semânticos, textuais; ariaSnapshot({ boxes }) dá geometria sem pixel; errorContext anexa o snapshot à falha de graça.

Três níveis na prática: projeção estreita por MR (conjunto de chaves, total, estado de campo — locator tipado); ARIA snapshot com filtro explícito para estrutura pequena e regular; varredura implícita em toda execução (5xx, console, NaN, axe-core 4.13). Dado de rede só como cross-check — é o mesmo caminho de renderização nos dois lados do par e ancora (C2 § 6.5). Regras completas no C4.

Camada visual paralela, se quiser: Argos (MIT, 616 ★, revisão no PR). Lost Pixel está arquivado desde abr/2026 e ainda é recomendado por comparativos. Applitools/Percy resolvem outro problema.

3.6 Camada 6 — execução, monitoramento, observabilidade

Três coisas distintas:

(a) Execução e evidência. Playwright runner + Trace Viewer. Trace é o material da triagem: DOM por passo, rede, console. O par tem de ser um único test(), com fonte e seguidores como test.step() e a MR como anotação — senão retain-on-failure perde um dos dois traces e toda ferramenta abaixo marca flake em cada metade separadamente.

(b) Monitoramento de produção. O subconjunto K0 que o C2 § 4 põe na Fase 2 (MR-A5 só caixa, MR-A7, MR-B3, MR-C10; MR-A3 e MR-C7 condicionais — só em SPA com estado acumulado na UI) não precisa de baseline nem de ambiente controlado — é monitor sintético perfeito.

A tese "a mesma verificação roda em CI e em produção" não vale com Synthetics: a versão diverge por construção. Escolher qual paridade importa mais é decisão do C4.

(c) Observabilidade de suíte. Atribuição de flake, histórico por caso, correlação. Nenhuma modela pares correlacionados — todas rastreiam "caso identificado por nome × execução" e definem flake por retry.

A distinção "MR mal especificada × ruído ambiental" é resolvida por estas ferramentas com histórico do mesmo teste — desde que o par seja a unidade. Ruído dentro do par é problema do harness: o protocolo do Diffy (§ 6) é a arte prévia.

Se houver LLM no laço: Langfuse (MIT + ee/ proprietário, © ClickHouse desde jan/2026, 33.8k ★). Não instrumentar o que ainda não tem modelo.

4 · Camada de agente e transporte

Duas distinções que organizam a camada. (1) Dev-time (Test Agents: produzem .spec.ts, saem de cena, o sistema implantado não chama modelo) versus runtime (Stagehand: modelo é dependência do sistema rodando). Para um oráculo, falha barulhenta é melhor que replanejamento silencioso — Test Agents ocupam a vaga. (2) Transporte não concorre com agente: CLI e MCP ficam por baixo de todos.

A regra de arquitetura — "o veredito é código" (C2 § 7.3). O agente descobre o caso-fonte. A violação de MR é decidida por comparação determinística; o modelo entra antes (propondo, validado por execução) e depois (triando). Adversário nomeado dentro da própria fundação: o healer. [protocolo · A20]

5 · Matriz de ferramentas

Saúde verificada em 27/08/2026 por gh api autenticado; licença lida do arquivo LICENSE quando a API diz NOASSERTION. Aderência é julgamento editorial (N5), em quatro valores: Alta — entra na stack no papel indicado; Média — útil com ressalva (licença, escopo, custo) ou como referência de arquitetura e catálogo a minerar; Baixa — não entra na stack, registrada por ser vizinha, rebaixada ou ainda recomendada; ⛔ — fora: família F no caminho do veredito, projeto morto ou licença que impede o uso.

6 · A vizinhança "compara duas execuções sem chamar de MT"

Seis produtos compartilham a forma "mesma entrada, dois lados": Meticulous (base × head), mabl (execução anterior do plano), Diffy (primary × secondary × candidate), Keploy e GoReplay (gravação × replay), Speedscale (antes × depois). Nenhum transforma a entrada; nenhum é MT. O que vale importar, como ideia e não como código (licença NC-ND): o protocolo de ruído do Diffy — rodar a mesma versão duas vezes para medir o piso de divergência e só acusar quando fonte × seguidor exceder fonte × fonte. Custa +1 execução por MR e responde diretamente à taxa-base de violação≠bug (C2 § 6.4).

7 · Sinais de mercado

O player mais autônomo morreu — e a divergência D2 continua. O Octomind (aponte uma URL, o agente devolve Playwright) encerrou em mai/2026; DNS morto, último Wayback 27/05/2026. A carta diz "we didn't find the market validation we needed", não atribui o fim ao oráculo. Duas leituras, ambas consistentes com os fatos:

• Otimista: descobrir fluxo é resolvido; saber o que deveria ter acontecido, não. A camada 4 está despovoada por falta de técnica.
• Leitura adversarial: o Octomind era o fornecedor mais próximo desta arquitetura — Playwright puro, LLM na descoberta e não no runtime. O post ai-doesnt-belong-in-test-runtime (título real "Not all AI in e2e testing is created equal", 10 capturas no Wayback, set/2025) diz a regra "o veredito é código" palavra por palavra: "Ideally, AI should not be used during runtime. It's slow. It's brittle. It's costly. … Only if the expectation is formulated precisely enough (code / steps) it can be validated against." Foi ele que morreu, enquanto os que julgam em runtime seguem captando.

A versão forte da segunda leitura: o mercado já precificou a especificação em zero. O Meticulous vende "automated e2e screenshot testing without writing or maintaining tests" — o comprador não compara MR com asserção; compara MR com nada. Mesmo o PBT, primo com tooling maduro, só é adotado "opportunistically in high-leverage scenarios where properties are readily available; developers rarely go out of their way to write subtle specifications" (Goldstein et al., ICSE 2024, 30 entrevistas na Jane Street). A autoria de MR é o custo que o campo nunca removeu ("requires creativity and domain knowledge", Segura 2020). Vinte anos de MT, zero produto de UI, 16 threads no HN. E a forma "propriedade sobre trace" — Bombadil, 1.451 ★ em sete meses, 24 repos consumidores — capturou o espaço adjacente com custo de autoria menor. Onde MT tem demanda comercial hoje é em saída de IA, não em UI.

O estudo desenha com a primeira leitura e dimensiona com a segunda. A pergunta que o piloto precisa responder é o enunciado E12: que bug a família D acha que Meticulous (C) e Bombadil (P) não acham, e quanto o comprador paga por ele? — e não "instanciar MR custa menos que escrever asserção?", que pode dar sim sem haver comprador. Só o piloto com mutantes responde, junto com E9c (com MR validada em E2E web, que fração das violações é bug?).

O capital foi para determinismo. US$ 105M no Antithesis (Jane Street, dez/2025), US$ 15M no Meticulous (jul/2026), US$ 15M na Momentic (Série A de nov/2025; a data jun/2026 do post é de atualização). A frase "o mercado apostou na família F" não se sustenta; a interface de produto convergiu em LLM, o dinheiro grande foi para oráculos determinísticos, e a família D continua desocupada nos dois lados.

A família F consolidou-se na triagem. Momentic Failure Classification Agent (jun/2026: "real bug, intentional change, test setup issue, or transient error?"), Datadog Bits Investigation (jun/2026), Checkly Rocky RCA com OTel e último resultado passante (jun/2026), mabl Conversational Analysis (abr/2026). Quatro fornecedores em três meses puseram LLM no passo de triagem do laço de julgamento (C4 § 3, passo 7). O C4 decide se segue ou se usa histórico determinístico primeiro.

Navegador agêntico standalone não vingou. ChatGPT Atlas encerrado em 09/08/2026; capacidades migram para app + extensão. Sinal fraco, mas na mesma direção do Octomind.

Ferramentas mortas ainda recomendadas. Lost Pixel (arquivado abr/2026), Quickstrom (739 dias), gemtest (440 dias) aparecem em comparativos de 2026. Dez segundos de API resolvem; o script está em pesquisa/ferramentas.md.

8 · Risco de fornecedor

Para OSS, saúde é commit e estrela; para comercial, capital e sinal — e o Octomind mostrou que "ativo" vira "morto" em quatro meses. Fonte primária (blog/press release) ou marcado como indício não confirmado (PISTA):

9 · Protocolo de busca da asserção de ausência

Registrado para que a próxima rodada ataque pelo mesmo caminho e não por outro.

Complementa o protocolo acadêmico do C2 (36 consultas em 5 bases, pesquisa/exploracao/X1-literatura.md) e as 40+ buscas da leitura adversarial (pesquisa/revisoes/v2/R2-redteam.md § 6: sinônimos "relational/consistency/self-consistency testing", npm/crates, HN Algolia, DBLP, arXiv API, JA/ZH/ES/PT, YC/Product Hunt — todas vazias para produto de UI).

Comandos, saídas literais e URLs de cada linha desta camada em pesquisa/exploracao/X3-mercado-n4.md. Registro das buscas e revisões desta camada: pesquisa/protocolo.md § 6; scripts de reverificação: pesquisa/ferramentas.md.