Studiu: Framework-urile complexe pentru agenți de programare triplează costurile fără să aducă performanță reală

Companiile de tehnologie promovează intens framework-urile avansate destinate agenților autonomi de programare, susținând că acestea aduc progrese majore în benchmark-uri. O nouă cercetare arată însă că aceste structuri sofisticate triplează adesea factura de consum de tokeni fără a oferi rezultate palpabile mai bune decât o implementare de bază.

Ce s-a întâmplat

Cercetătorii Liu și Han de la Universitatea Shandong au evaluat riguros impactul pe care îl au cadrele de lucru („harnesses”) prin care modelele de limbaj interacționează cu fișierele dintr-un depozit de cod, publicând o lucrare intitulată sugestiv „What does a harness buy? Mostly tokens”. Un astfel de cadru include prompturile de sistem, instrumentele puse la dispoziție și managementul contextului. În cadrul testelor pe benchmark-ul SWE-bench Verified, autorii au comparat Claude Code, OpenCode și mini-SWE-agent, folosind mai multe modele, printre care Qwen3.6, Deepseek-V4-Flash și Claude Opus 5 ca referință.

Rezultatele demonstrează că diferența de rezolvare între Claude Code (o arhitectură foarte complexă) și mini-SWE-agent (o versiune minimalistă care oferă doar acces la un terminal Bash, fără management complex de context) a fost de sub două puncte pe un set larg de 447 de sarcini, o distanță aflată în marja de eroare statistică. Variația obținută prin schimbarea cadrului de lucru este similară cu o simplă reluare a aceluiași test. În schimb, costurile explodează: Claude Code consumă în jur de 16.600 de tokeni doar pentru promptul de sistem și definițiile de instrumente la fiecare pas, față de sub 1.000 de tokeni în cazul mini-SWE-agent, generând costuri de până la trei ori mai mari.

De ce contează în România

Pentru echipele de software development și startup-urile din România care își construiesc sau integrează asistenți de codare, concluzia este esențială pentru gestiunea bugetelor de API. În loc să consume resurse mari de inginerie pentru a construi orchestrații complexe, memorii sofisticate sau prompturi masive, dezvoltatorii români pot obține o eficiență comparabilă folosind un strat de integrare minim în fața modelului de bază.

În plus, cercetarea oferă o lecție tehnică utilă împotriva deciziilor luate strict pe baza scorurilor din clasamentele publice. Diferențele de câteva puncte raportate în benchmark-uri pot fi simple variații de rulare sau artefacte de măsurare. Fără o analiză strictă a consumului, o companie poate ajunge să plătească facturi mari pentru tokeni trimiși repetitiv, fără vreun beneficiu real în calitatea codului livrat.

Cum poți încerca

Cercetătorii au publicat datele complete și scripturile de analiză pe GitHub, permițând oricărei echipe tehnice să verifice rezultatele sau să analizeze metodologia de testare. Instrumentele menționate în studiu, precum soluția deschisă OpenCode sau mini-SWE-agent, pot fi explorate direct în depozitele lor de cod.

Dacă dezvolți un flux intern de lucru bazat pe agenți LLM, o acțiune practică pe care o poți face imediat este auditarea consumului de tokeni din prompturile de sistem și din definițiile funcțiilor (tool definitions). Reducerea contextului repetat la fiecare pas îți poate scădea substanțial costurile operaționale fără să afecteze capacitatea modelului de a rezolva probleme de programare.