Novo modelo de inteligência artificial da OpenAI, o o1 acertou 82% das questões da prova do curso de residência da Faculdade de Medicina da Universidade de São Paulo (USP) durante um teste simulado, como noticiou a Folha de S.Paulo na terça-feira (17). Com o resultado, a tecnologia teria acesso direto ao programa, se fosse um aluno.
Conduzido pelo especialista em educação em saúde, Matheus Ferreira, o experimento colocou a IA integrante do Projeto Strawberry para responder as 120 perguntas da prova qualificatória. O conteúdo incluiu disciplinas ligadas à área de Medicina, como cirurgia, clínica, obstetrícia, pediatria, ginecologia e medicina preventiva.
Desse total, o OpenAI o1 acertou 98 questões, mesmo sem a capacidade de analisar imagens, por enquanto indisponível no modelo — muitas perguntas exigem que o candidato analise imagens e até têm figuras como resposta. O GPT-4 fez o mesmo teste com 91 acertos, apesar de realizar o processamento de imagens.
No experimento, Ferreira dividiu as perguntas em seis blocos de 20, que eram enviados ao modelo o1 junto com um prompt que o orientava a responder como se fosse um médico, além de indicar o gabarito para cada alternativa. A IA Claude Sonnet 3.5, da Anthropic, também foi testada e obteve 76% de acerto.
Sucesso na prova de matemática do ITA
A nova IA da OpenAI participou de outro experimento semelhante, desta vez sendo desafiada a responder a prova de matemática do Instituto Tecnológico de Aeronáutica (ITA) aplicada no processo seletivo de 2024. O vestibular da instituição do interior paulista é considerado um dos mais difíceis do Brasil.
Neste teste, o o1 se saiu ainda melhor, pois acertou todas as 10 perguntas enviadas pelo fundador da empresa Stealth, Vinícius Soares. As questões traziam conteúdos como geometria, trigonometria, funções e estatística, com o bot respondendo todas elas corretamente e descrevendo o raciocínio utilizado.
Em experimentos conduzidos pela própria startup americana, a nova versão da IA se mostrou seis vezes mais precisa na solução de problemas matemáticos que o GPT-4. A empresa diz que a tecnologia se classificaria entre os 500 melhores participantes das olimpíadas de matemática dos Estados Unidos.