Metodologia pública: por que abrimos o jogo

A metodologia do IA Performance Index é pública porque índice fechado não merece confiança

A TIDEX publica abertamente como o IA Performance Index funciona: os componentes, os pesos, as fontes de dados, o pipeline multi-LLM e a lógica de scoring. A gente fez essa escolha porque acredita que um índice que pede confiança sem mostrar como funciona não merece essa confiança. Se o seu score é 4.2, você precisa saber exatamente por que é 4.2 e não 5.0 — e a metodologia aberta permite isso. Segundo o Edelman Trust Barometer 2024, 67% dos profissionais de marketing não confiam em métricas proprietárias de plataformas fechadas. A gente não quer ser mais uma métrica que ninguém entende. Metodologia pública não significa que qualquer um consegue replicar o resultado com facilidade — o pipeline multi-LLM com 8 fontes de dados é complexo de operar. Mas significa que qualquer um pode entender como o resultado foi calculado e questionar se faz sentido.

O que exatamente a gente publica

A metodologia aberta inclui: a descrição dos 7 componentes do índice e como cada um é calculado, as três dimensões (presença, qualidade, contexto) e seus sub-componentes, a lógica de pesos e como ela varia por setor, o funcionamento do pipeline multi-LLM (Gemini pra coleta, GPT pra testes LLMO, Claude pra análise), as 8 fontes de dados consultadas (SERP, Google Places, Reclame Aqui, redes sociais, sites de review, diretórios setoriais, conteúdo próprio e resultados LLMO), as quatro zonas de score (Crítico 0-3, Atenção 3-5, Bom 5-7, Excelente 7-10) e os critérios de amostragem de prompts. O que não publicamos são os prompts específicos de cada cliente e os dados brutos dos concorrentes — isso é confidencial. Segundo a McKinsey Global Survey on AI 2024, empresas com práticas transparentes de IA têm 40% mais retenção de clientes enterprise. Transparência metodológica é um ativo comercial, não uma vulnerabilidade.

Por que abrir a metodologia não prejudica o negócio

A objeção óbvia é: "se você abre tudo, alguém copia". Sim, alguém pode copiar a abordagem. Mas a vantagem competitiva da TIDEX não está na fórmula — está na execução. Operar um pipeline multi-LLM com três modelos coordenados, manter 8 fontes de dados atualizadas, calibrar pesos por setor com base em dados reais e garantir reprodutibilidade estatística é operacionalmente difícil. Abrir a metodologia na verdade fortalece a posição da TIDEX porque estabelece o padrão do mercado. Quem vier depois vai ser comparado com a abordagem que a gente definiu. Segundo a Harvard Business Review, empresas que definem o padrão metodológico de uma categoria capturam em média 2x mais market share que seguidores. No mercado de LLMO, que está se formando agora, ser quem define como medir é mais valioso do que ter uma fórmula secreta que ninguém consegue validar.

Como a comunidade pode auditar o índice

Qualquer profissional com acesso aos motores de IA pode verificar partes do índice. Se a gente diz que uma marca aparece em 40% dos prompts comerciais no ChatGPT, é possível testar manualmente com uma amostra de prompts e verificar se o resultado é consistente. A gente incentiva isso. Quando clientes fazem verificação independente e encontram resultados alinhados, a confiança no índice cresce. Quando encontram divergências, a gente investiga e ajusta — já aconteceu de um cliente identificar que um prompt específico retornava resultado inconsistente por causa de uma atualização do motor. Segundo o Stanford HAI 2024, ferramentas de IA avaliadas por comunidades externas apresentam 35% menos erros sistemáticos do que ferramentas avaliadas apenas internamente. A auditoria externa é um mecanismo de qualidade, não uma ameaça. Cada feedback que recebemos melhora o pipeline pra todos os clientes.

Metodologia aberta como diferencial em vendas enterprise

No mercado enterprise, metodologia pública é pré-requisito, não diferencial. Empresas grandes têm compliance, governança e processos de procurement que exigem entender exatamente como uma ferramenta gera seus outputs. A gente já perdeu zero deals por ter a metodologia aberta — mas já ganhou deals especificamente porque o concorrente não conseguia explicar como calculava o score. Segundo a Gartner, 78% das decisões de compra de ferramentas de analytics enterprise incluem avaliação da transparência metodológica como critério eliminatório. Pra TIDEX, publicar a metodologia não foi uma decisão filosófica — foi uma decisão de negócio. O mercado brasileiro de LLMO está se formando e quem estabelecer o padrão de rigor metodológico agora vai definir as expectativas de todo o setor. A gente quer ser esse padrão, e isso exige transparência total.