ContestoSWE-bench 1.96%
Nasce SWE-bench: i modelli crollano sotto il 2%
Contesto
SWE-bench testa i modelli su issue GitHub reali: anche GPT-4 risolve meno del 2%. Segna il confine tra chatbot e agenti software.
SWE-bench testa i modelli su issue GitHub reali: anche GPT-4 risolve meno del 2%. Segna il confine tra chatbot e agenti software.