A Activision Blizzard publicou um extenso white paper que explica o que aconteceu quando diminuiu o matchmaking baseado em habilidades (SBMM) em Call of Duty. A versão TL: DR? Quase todos odiaram.
A empresa buscou explorar como o SBMM impacta os jogadores de várias maneiras, o que a levou a executar um 'Teste de Despriorização de Habilidade' em Call of Duty: Modern Warfare III no início deste ano.
O experimento viu o estúdio alavancar seu framework de teste A/B para afrouxar as restrições em habilidade no matchmaking. Ele executou o teste de 2024 na América do Norte e estabeleceu um grupo de tratamento composto por 50% da população. A outra metade dos jogadores não foi afetada.
As taxas de retorno de jogadores diminuíram quando o matchmaking baseado em habilidades foi afrouxado
Aqueles que experimentaram sem saber uma redução no SBMM não ficaram felizes. Após um mês realizando o teste, a Activision categorizou a população de tratamento em 10 grupos igualmente dimensionados—classificados por habilidade. Com o SBMM despriorizado, as taxas de retorno dos jogadores diminuíram significativamente para 90% dos jogadores. Apenas os 10% mais habilidosos jogadores voltaram em maior número, mas em um nível agregado a Activision Blizzard viu 'significativamente menos jogadores retornando ao jogo'.
'Esse efeito pode parecer pequeno, mas essa mudança foi observável durante a duração do teste. Isso se acumulará ao longo do tempo, assim como os juros, e terá um impacto significativo em nossa população de jogadores. Isso é uma preocupação para todos os jogadores, incluindo os 10% melhores, pois se esse padrão for permitido a continuar, os jogadores sairão do jogo em número crescente,' explicou a empresa.
'Eventualmente, um jogador de 10% se tornará um jogador de 20%, e eventualmente um jogador de 30%, até que apenas os jogadores mais habilidosos permaneçam jogando o jogo. Esses jogadores originais de alto nível se tornarão cada vez mais propensos a não retornar ao jogo. Com o tempo, isso resultará em uma experiência pior para todos os jogadores, pois haverá menos e menos jogadores disponíveis para jogar. Além disso, como mencionado acima, este teste apenas despriorizou a habilidade nas regras de correspondência. Se fosse completamente removido, esperaríamos ver a população de jogadores erodindo rapidamente em questão de alguns meses.'
Os jogadores impactados pelo Teste de Despriorização de Habilidade também tinham mais probabilidade de abandonar o jogo no meio, com a Activision Blizzard explicando que a taxa de abandono 'aumentou significativamente' em 80% dos jogadores. Apenas os 10% melhores jogadores viram uma diminuição significativa nas taxas de abandono, mas a Activision Blizzard observou que o lado positivo seria passageiro.
'À medida que a partida acelerada dos jogadores nos segmentos de habilidade mais baixos se estabelece, os jogadores de 10% de topo eventualmente se deslocarão para baixo na distribuição de habilidade (pois os jogadores originais de 10% de topo comporão uma porcentagem cada vez maior da base de jogadores),' disse. 'Como resultado, esperamos ver os jogadores de 10% de topo abandonarem os jogos cada vez mais, à medida que se tornarem jogadores do 50º percentil após a grande parte da população de habilidades mais baixas ter saído do jogo.'
O Team Death Match viu mais massacres
O número de 'massacres' no Team Death Match (TDM) também aumentou. A Activision Blizzard explicou que um massacre é quando um time em um lobby 'vence com uma diferença de pontuação superior a 30,' o que significa que eles massacraram completamente a oposição. Ela disse que o número de massacres aumentou para todos os jogadores do Teste de Despriorização de Habilidade em lobbies de TDM, o que significa que todos provavelmente estavam se divertindo menos. 'Vemos resultados semelhantes em outros modos de jogo,' acrescentou.
O acompanhamento de outras métricas como Kills Por Minuto (KPM) e Pontos Por Minuto (SPM) em lobbies impactados pelo experimento mostrou que os jogadores de habilidade inferior geralmente se saíam pior em geral, enquanto os 10% melhores conseguiam 'dominar'.
'As Kills Por Minuto diminuem significativamente para os 20-30% de jogadores inferiores. Os próximos 60% dos jogadores não têm mudança significativa, e os 10% melhores têm um KPM significativamente maior,' afirmou a Activision Blizzard. 'Assim como o KPM, o SPM segue uma tendência semelhante. Os jogadores de habilidade baixa se saem pior, enquanto os 10% melhores podem dominar. Assim como com o KPM, esperamos ver os jogadores se deslocarem para a esquerda nessa distribuição ao longo do tempo, à medida que os jogadores de habilidade baixa retornam ao jogo em taxas mais baixas.'
'O uso de killstreaks e o aumento de KPM e SPM mostram que a disparidade percentil de habilidade mais ampla do lobby é desproporcionalmente alavancada pelos 10% melhores jogadores. Infelizmente, esse desempenho aumentado vem com o custo de um impacto muito maior para a população muito maior de 30% no fundo da distribuição de habilidade.'
Pesando de forma mais ampla, a Activision Blizzard disse que seu último teste e experimentos históricos mostram uma ligação clara entre SBMM e retenção de jogadores.
'Podemos ver que afrouxar a habilidade afeta negativamente nossa capacidade de manter os jogadores interessados em nosso jogo,' disse. 'Em um teste semelhante ao Teste de Despriorização de Habilidade discutido acima, conseguimos ver uma diminuição significativa no número de jogadores jogando Call of Duty: Modern Warfare (2019) e um aumento na taxa geral de abandono de partidas, quando tratados com uma correspondência de habilidade menos rígida. Tentativas subsequentes de proteger apenas os 25% inferiores dos jogadores e permitir uma correspondência mais flexível para os 75% restantes dos jogadores também tiveram indicadores claros negativos de 'diversão' auto-relatada.'
Você pode ler o white paper completo no site da Activision Blizzard.
