Agenții AI din laboratoare întâmpină dificultăți în producerea cercetărilor științifice originale, arată un studiu recent

Pe scurt:

• Agenții AI au întâmpinat dificultăți majore în generarea de cercetări științifice originale, obținând scoruri slabe la evaluarea lucrărilor autonome.
• Au avut la dispoziție șase zile, acces la internet și un buget de 3.000 de dolari pentru a dezvolta studii pe teme AI nepublicate anterior.
• Raționamentul științific și proiectarea experimentelor au fost deficitare, iar gestionarea rezultatelor negative a fost ineficientă, conform evaluărilor experților.
• Studiul subliniază rolul complementar al AI în cercetare, sprijinind sarcinile repetitive fără a înlocui complet intervenția umană.

agenți AI cercetare științifică întâmpină dificultăți în generarea de studii originale

<pAgenții AI cercetare științifică se confruntă cu provocări majore în producerea de cercetări originale, arată un studiu recent. Deși modelele AI pot scrie cod, efectua experimente și căuta informații în literatura de specialitate, realizarea unei cercetări deschise, fără răspunsuri prestabilite, rămâne dificilă.

Cercetătorii au testat performanța modele AI în realizarea autonomă a unor proiecte complexe. Agenții AI au primit șase zile pentru a dezvolta și redacta lucrări pornind de la două teme de cercetare AI nepublicate anterior. Aceștia au avut acces complet la internet, resurse de calcul și un buget de aproximativ 3.000 de dolari pentru utilizarea modelelor.

Performanță modele AI în cercetare științifică evaluată critic

Temele abordate au vizat structura și controlabilitatea personajelor generate de modele lingvistice și dezvoltarea unui detector pentru schimbările de distribuție în modelele fundamentale cu date tabelare. După cele șase zile, lucrările redactate au fost evaluate după criterii aplicate în conferințe AI de top.

Rezultatele au fost slabe, cu scoruri de respingere de 2 din 6 și 1 din 6. Agenții au înțeles întrebările și au propus direcții similare cu cele umane, însă raționamentul științific a fost deficitar. Proiectarea experimentelor a fost slabă, iar gestionarea rezultatelor negative a fost ineficientă, agenții adăugând explicații și excepții în loc să regândească experimentele.

Deși timpul și bugetul erau suficiente, agenții au grăbit finalizarea lucrărilor, folosind mai puțin de jumătate din resursele disponibile. Evaluările experților au fost critice, calificând unele decizii metodologice drept bizare și neștiințifice.

Asistenți AI laboratoare vor avea roluri complementare în cercetare

Studiul indică limitele actuale ale AI-ului în cercetarea științifică autonomă, dar nu exclude utilizarea acestora ca asistenți în laboratoare. Modelele AI pot prelua sarcini repetitive și pot sprijini cercetătorii în procesul de descoperire, fără a înlocui complet intervenția umană.

Astfel, performanța modele AI în cercetare rămâne un domeniu în dezvoltare, cu potențial pentru integrare în echipele științifice ca asistenți AI laboratoare, contribuind la eficientizarea proceselor și explorarea unor direcții noi.

Sursa originală a acestui articol este https://www.descopera.ro/stiinta/21122375-agentii-ai-se-chinuie-sa-produca-cercetari-stiintifice-originale-arata-un-nou-studiu (link)