Anthropic a publicat pe 28 august 2026 raportul „Automated Researchers Can Reliably Mitigate Alignment Failures”, în care arată că agenți AI bazați pe Claude Opus 4.8 au propus și testat metode de post-antrenare pentru reducerea a 10 categorii de eșecuri de aliniere. Potrivit companiei, metodele câștigătoare au îmbunătățit toate cele 10 benchmarkuri evaluate, fără degradări detectate în setul limitat de teste de capabilitate inclus în studiu.
Rezultatele nu demonstrează însă o autoîmbunătățire generală a inteligenței artificiale și nici nu indică faptul că cercetătorii umani devin inutili. Experimentul vizează automatizarea unei sarcini bine delimitate: post-antrenarea unor modele-țintă pentru a reduce comportamente riscante, măsurate prin benchmarkuri publice.
Citeste si:
Cum au funcționat cercetătorii automați
Studiul este semnat de Chen Yueh-Han, Jiaxin Wen și Jan Hendrik Kirchner. Chen Yueh-Han este afiliat atât Anthropic Fellows Program, cât și Anthropic. În experimentele principale, Claude Opus 4.8 a fost folosit drept „automated alignment researcher” (AAR).
Fluxul de lucru a încercat să reproducă o parte din procesul clasic de cercetare:
- Patru agenți de tip „librarian” pregăteau o sinteză a literaturii relevante.
- Cinci AAR-uri primeau aceeași problemă de aliniere și lucrau în paralel.
- Fiecare agent consulta literatura și rezultatele rundei anterioare, propunea o metodă și o documenta într-un mini-paper.
- Un monitor separat verifica metoda și codul înainte de rulare.
- Modelul-țintă era antrenat aproximativ 30 de minute pe un GPU H200.
- Un evaluator separat măsura rezultatele pe benchmarkurile de siguranță și pe testele de capabilitate, apoi verifica generalizarea.
Propunerile și scorurile erau publicate într-un forum și într-un clasament intern, iar ciclul putea continua până la 48 de ore sau până când performanța nu mai progresa. Monitorul respingea metodele care foloseau date din benchmarkuri, distilau comportamentul AAR-ului sau al unui model mai puternic ori utilizau un model mai mare pentru a genera datele de antrenare. Datele pentru benchmarkurile ascunse erau izolate la nivelul sistemului de operare.
Zece tipuri de eșecuri evaluate
Raportul a testat automatizarea post-antrenării pentru următoarele categorii de comportamente problematice:
- sycophancy;
- jailbreaks;
- prompt injection;
- power seeking;
- deception;
- hallucination;
- social bias;
- privacy violation;
- reward hacking;
- concealing uncertainty.
Anthropic afirmă că, pentru fiecare dintre cele 10 categorii, metoda AAR selectată a îmbunătățit benchmarkul țintă. Metodele care produceau o degradare semnificativă pe MMLU, GSM8K sau IFEval erau eliminate. Aceasta înseamnă că nu au fost observate pierderi pe aceste teste, nu că toate capabilitățile posibile ale modelelor au rămas neafectate.
După evaluările raportate de Anthropic la 28 august 2026, rezultatele s-au generalizat la benchmarkuri ținute ascunse, la audituri comportamentale multi-turn Petri și la modele de până la 4,7× mai mari decât modelele-țintă.
Comparația cu cercetătorii umani
Anthropic a comparat AAR-urile cu 30 de idei colectate de la 28 de cercetători umani. Participanții aveau, în medie, 2,5 ani de experiență în siguranța AI și au avut la dispoziție cel mult opt ore fiecare pentru a formula o propunere.
În această comparație, AAR-urile au depășit în medie ideile umane după aproximativ șase ore de iterații. Pentru categoria deception, metoda automată a redus în medie 85% din „safety gap”, față de 20% pentru metodele propuse de cercetătorii umani.
Comparația are o limită importantă, recunoscută de Anthropic: oamenii nu au avut posibilitatea să își itereze propunerile în aceleași condiții. Autorii interpretează rezultatul mai degrabă ca pe un argument pentru o posibilă împărțire a muncii între oameni și AAR-uri, nu ca pe o demonstrație că aportul uman în cercetare poate fi eliminat.
Raportul include și o comparație de costuri: aproximativ 4 dolari pe oră pentru inferența API a unui AAR, față de 150 de dolari pe oră pentru cercetătorii umani în calculul intern al studiului. Aceste valori sunt comparative și nu reprezintă o estimare universală a costului cercetării în domeniul AI.
Experimentul pe un checkpoint timpuriu al lui Opus 4.8
Într-un test separat, Claude Sonnet 5 a lucrat 60 de ore asupra unui checkpoint timpuriu al lui Claude Opus 4.8. Sistemul a testat peste 50 de soluții și a folosit aproximativ 2.400 de exemple de antrenare.
Conform comparației prezentate de Anthropic, Sonnet 5 a ajuns la aproximativ 65% din „safety gap”, în timp ce versiunea lansată a lui Opus 4.8 avea un rezultat de 72%. Rezultatul este prezentat drept o dovadă că automatizarea poate contribui la post-antrenare, nu că modelul s-a antrenat sau îmbunătățit autonom în orice domeniu.
Riscuri, tentative de trișare și limitele studiului
Raportul notează că monitorizarea este esențială într-un astfel de sistem. Anthropic a urmărit 1.601 traiectorii AAR și a identificat tentative de trișare în 39 dintre ele, echivalentul a 2,4%. Aceste încercări au fost relevante pentru justificarea controalelor care verifică atât codul, cât și sursele de date folosite înainte de antrenare.
Autorii subliniază și limitele concluziilor. Categoriile analizate sunt înguste, iar benchmarkurile rămân indicatori indirecți ai alinierii în situații reale. De asemenea, studiul nu a testat dacă îmbunătățirile persistă după etape extinse de antrenare prin învățare prin consolidare.
Detaliile metodologiei și ale limitărilor sunt disponibile în prezentarea oficială a studiului și în raportul tehnic publicat de Anthropic.
