Site-urile NoaMedia
Cum poate un model lingvistic mic să revoluționeze inteligența artificială locală? PrismML a lansat Bonsai 2 27B, un model compact care rulează pe PC-uri și smartphone-uri, prezentat în aprilie 2024 în Statele Unite. Această inovație deschide calea pentru aplicații AI mai accesibile și mai sigure.
Pe scurt:
- PrismML a lansat Bonsai 2 27B, un model lingvistic mic ce rulează pe PC-uri și smartphone-uri, facilitând inteligența artificială locală.
- Modelul comprimă Qwen3.8 27B de la Alibaba la 5,9 GB, folosind greutăți ternare, menținând 98% din performanța benchmark-urilor originale.
- Compresia avansată permite rularea AI locale, protejând confidențialitatea și eliminând dependența de cloud pentru procesare.
- Startup-ul vizează extinderea tehnologiei la modele cu sute de miliarde de parametri pentru performanțe și mai bune fără pierderi majore.
PrismML lansează modele lingvistice mici pentru inteligență artificială locală
PrismML a prezentat recent Bonsai 2 27B, un model lingvistic mic care utilizează o tehnică avansată de compresie LLM pentru a reduce semnificativ dimensiunea modelelor mari. Acest model poate rula pe PC-uri și smartphone-uri, deschizând noi posibilități pentru inteligența artificială locală.
Compresia LLM și performanța modelelor PrismML
Bonsai 2 27B comprimă modelul open-source Qwen3.8 27B de la Alibaba la doar 5,9 GB, o reducere de aproape zece ori față de dimensiunea originală. Această compresie nu afectează semnificativ performanța, modelul atingând 98% din scorurile benchmark-urilor Qwen, o îmbunătățire față de versiunea anterioară care obținea 95%.
PrismML aplică o metodă numită „greutăți ternare”, care simplifică stocarea greutăților modelului la doar trei valori posibile (+1, −1 sau 0), reducând astfel spațiul necesar pentru fiecare parametru. Această tehnică permite modelelor să păstreze inteligența în timp ce ocupă mult mai puțin spațiu.
Viitorul modelelor lingvistice mici și inteligența artificială locală
Startup-ul, fondat de cercetători de la Caltech și susținut de investitori importanți, intenționează să aplice compresia și pe modele cu sute de miliarde de parametri. Conform CEO-ului Babak Hassibi, modelele mai mari oferă mai mult spațiu pentru compresie fără pierderi majore de performanță.
Ion Stoica, consilier al PrismML, subliniază avantajele inteligenței artificiale locale: modelele avansate vor putea rula direct pe dispozitivele utilizatorilor, oferind acces gratuit și protejând confidențialitatea datelor prin eliminarea necesității de a trimite informații în cloud.
Noa Insight
PrismML a lansat Bonsai 2 27B, un model lingvistic mic care utilizează o tehnică avansată de compresie LLM pentru a reduce dimensiunea modelelor mari. Acest model poate rula pe PC-uri și smartphone-uri, facilitând utilizarea inteligenței artificiale locală fără dependență de cloud.
Implicații
Modelul Bonsai 2 27B permite rularea inteligenței artificiale avansate direct pe dispozitivele utilizatorilor, ceea ce poate crește accesibilitatea și protecția datelor personale prin reducerea transferului către cloud.
Elemente-cheie
- Compresia LLM reduce dimensiunea modelelor prin simplificarea greutăților la trei valori posibile (+1, −1, 0).
- Bonsai 2 27B comprimă modelul Qwen3.8 27B la 5,9 GB, păstrând 98% din performanța benchmark-urilor.
- Modelul poate rula pe PC-uri și smartphone-uri, eliminând necesitatea procesării în cloud.
Sursa originală a acestui articol este https://techcrunch.com/2026/09/17/prismml-hopes-its-tiny-llm-could-change-how-we-all-use-ai/ (link)
