Abilitățile pentru agenți (Agent Skills) sunt pachete de instrucțiuni, șabloane și resurse pe care agentul le încarcă la rulare, fără să-i schimbi greutățile modelului. Se prezintă ca o soluție simplă: îi dai agentului o procedură scrisă și devine specialist în domeniu. Până acum nimeni nu măsurase sistematic cât de mare e câștigul. O lucrare nouă, SkillsBench, o face: 87 de sarcini în 8 domenii, 18 combinații model–unealtă de execuție, fiecare rulată în două condiții identice, cu și fără abilități.
Fiecare sarcină are un verificator determinist, deci rezultatul nu depinde de judecata unui model care notează alt model. Sarcinile vin de la contribuitori și acoperă muncă de expert: analiză de semnale științifice, securitate cibernetică, finanțe, inginerie software, matematică și cercetare operațională, științe naturale, producție media, procese de birou. Dificultatea e estimată în timp de lucru pentru un specialist median, fără ajutorul uneltelor AI, iar estimările au fost revizuite de oameni cu aceeași specializare.
Ecosistemul e deja uriaș: la momentul construirii benchmark-ului, autorii au numărat 2.014.000 de abilități publicate în comunitate. Cu o asemenea ofertă, întrebarea „care dintre ele chiar ajută” devine mai importantă decât „mai există una?”. Metoda ține sub control și scurgerea de informație: sarcinile și materialul de sprijin sunt separate, ca agentul să nu primească răspunsul prin abilitatea care ar trebui să-l ajute să gândească.
Rezultatul principal: rata de reușită urcă de la 33,9% la 50,5%. Adică +16,6 puncte procentuale, un câștig normalizat de 25,5%. Toate cele 18 configurații se îmbunătățesc, fără excepție. Dar variația dintre ele e uriașă: de la +4,1 la +25,7 puncte.
Cine câștigă cel mai mult nu e cine are cel mai bun rezultat absolut. Cele mai mari salturi vin de la OpenHands cu GLM 5.1 (+25,7 puncte), Gemini CLI cu Gemini 3.1 Pro (+24,8) și OpenHands cu DeepSeek V4 Pro (+23,2). Rezultatele finale cele mai bune le au OpenHands cu GPT-5.5 (67,3%), Codex cu GPT-5.5 (66,5%) și Claude Code cu Opus 4.7 (61,2%). Un model cu bază puternică poate câștiga surprinzător de puțin: Gemini 3.5 Flash pornește de la 41,1% și adaugă doar 7,1 puncte. Capacitate mare la start nu înseamnă automat pârghie mare.
Contează și unealta de execuție, nu doar modelul. Același GPT-5.5 ajunge la 67,3% în OpenHands și la 66,5% în Codex. Gemini 3.1 Pro face 60,8% în Gemini CLI, dar 52,8% în OpenHands. Claude Opus 4.7 ajunge la 61,2% în Claude Code și la 53,1% în OpenHands. Abilitățile nu sunt context în plus lipit pe lângă prompt: felul în care unealta le descoperă, le citește și le cheamă decide cât se vede din câștig.
Pe domenii, diferențele sunt la fel de mari. Științele naturii câștigă +28,8 puncte, producția media +24,1, securitatea cibernetică +18,9, sistemele industriale +15,7, finanțele +14,2, munca de birou +12,6, ingineria software +11,6, iar matematica doar +9,7. Tiparul e clar: câștigurile mari apar unde cunoștințele procedurale sunt rare în datele de antrenament și unde formatul e fragil. Unde modelul are deja deprinderi bune și unelte maturizate, abilitatea adaugă puțin.
Aici e partea cea mai utilă în practică. O singură abilitate atașată sarcinii aduce +18,0 puncte. Două sau trei aduc +19,0. Patru sau mai multe coboară la +10,1. La fel stau lucrurile cu lungimea: abilitățile compacte și cele de lungime standard dau +19,0 și +21,5 puncte, cele detaliate +14,5, iar documentația exhaustivă abia +0,7. Mai mult text nu înseamnă mai mult ajutor; de la un punct încolo, conținutul în plus creează suprasarcină sau indicații care se contrazic.
Dimensiunea modelului se poate compensa parțial. MiniMax M2.7 cu abilități ajunge la 34,9%, peste OpenHands cu GLM 5.1 fără abilități (32,7%) și peste OpenHands cu MiniMax M3 (29,7%). Pentru sarcini procedurale, o procedură bună poate ține loc de parametri în plus.
Un rezultat contrazice intuiția: abilitățile pe care agentul le scrie singur pentru el sunt mai rele decât lipsa lor. Pe trei configurații dedicate, coboară sub linia de bază: −8,1 puncte la Claude Code cu Opus 4.7, −11,3 la Codex cu GPT-5.5, −11,5 la Gemini CLI cu Gemini 3.1 Pro. Pe aceleași configurații, abilitățile curatoriate adaugă între +18,2 și +24,8. Auditul traseelor arată de ce: pachetele generate nu sunt descoperite de cel care rezolvă, timpul petrecut scriindu-le se ia din timpul de rezolvare, iar conținutul e uneori sigur pe el și greșit.
Pe 13 din 87 de sarcini, abilitatea strică rezultatul. Cele mai mari scăderi: −7,4 puncte la secvențierea blocurilor de examen și la exfiltrarea personalizată prin Suricata, câte −5,6 la controlul adaptiv al vitezei, la clusteringul norilor, la controlul predictiv și la detrendarea seriilor economice. Cauza e aproape mereu aceeași: o singură conductă corectă, fără limite de aplicare și fără o variantă ieftină de rezervă. Abilitatea împinge agentul spre o cale greoaie, înlocuiește o strategie implicită mai bună sau îl trimite la o unealtă pe care nu o poate depana.
Uneori descoperirea nu e problema. Autorii separă abilitățile livrate cu unealta de cele specifice sarcinii și măsoară cât de des traseul chiar citește sau cheamă abilitatea. Rata de invocare mare nu garantează succes, deci eșecurile rămase apar adesea după ce agentul a avut acces la procedură. Altfel spus: problema nu e că nu găsește rețeta, ci că rețeta nu se potrivește sau e aplicată prost.
Limitele, spuse de autori: totul rulează în terminal și în containere, pentru reproductibilitate. Rezultatele nu se transferă direct la agenți cu interfață grafică, la coordonarea mai multor agenți sau la sarcini foarte lungi. E un punct de plecare serios, nu un verdict universal.
Ce mi se pare important e că lucrarea mută discuția de la „am scris o abilitate” la „am măsurat dacă ajută, pe stack-ul meu”. Cifra de +16,6 puncte e o medie; pentru o configurație concretă poate fi 4 sau 26, iar asta schimbă decizia. Iar concluzia practică e incomodă pentru cineva care își umple biblioteca: mai puține, mai scurte, mai precise bat colecția mare. Nu m-aș fi așteptat ca documentația exhaustivă să aducă +0,7 puncte.
No comments yet