Microsoft “Fi-3.5-vision”, “Fi-3.5-Mae” va “Phi-3.5-mini-ni” o'z ichiga olgan “Phi-3.5” sun'iy intellekt modellar oilasini chiqardi. Ularning barchasi sintetik ma'lumotlar va filtrlangan ommaviy saytlar asosida qurilgan. Mazkur sun’iy intellekt modellari uzunligi 128 ming tokenni tashkil etuvchi kontekstni qo'llab-quvvatlash imkoniyati mavjud boʻlib, ushbu sun’iy intellektlarning uchta modeli Masachusets Texnologiyalari Instituti “MIT” litsenziyasi ostida “Hugging Face” platformasida ishlab chiqilgan.

Rasm Midjourney - da yaratilgan

E’tiborli jihati shundaki, sun’iy intellekt modellari “Phi-3.5-MoE Mixture of Experts” (MoE) texnologiyasi imkoniyatlaridan foydalangan. Mazkur yondashuv tarmoq orqali kiruvchi ma’lumotlarni qayta ishlash va hisoblash uchun tarmoq imkoniyatlarining faqatgina ma’lum bir qismi ishlatilishi orqali samaradorlikka erishish imkoniyatini beradi. Xususan, ushbu sun’iy intellekt 16 guruhli va 3,8 milliard parametrli model 6,6 milliard parametrdan foydalanadi, u 512 NVIDIA H100 GPU yordamida 4,9 trillion tokenga oʻrgatilgan.

Microsoft tadqiqot guruhi uning ish faoliyatini yaxshilash uchun modelni noldan ishlab chiqdi. Standart sun’iy intellekt testlarida “Phi-3.5-MoE Llama-3.1 8B”, “Gemma-2-9b”va “Gemini-1.5-Flash”dan ustun turadi va u hozirgi kunda ochiq internetda sun’iy intellektlar orasida еtakchilik qilayotgan “GPT-4o-mini” ga yaqin.

“Phi-3.5-mini C” 3,8 milliard parametr “Llama-3.1 8b” va “Mistral 7B” dan oldinda, shuningdek “Mistral NeMo 12b” bilan raqobatlasha oladi. Sun’iy intellekt modeli 512 h100 birligidan foydalangan holda

3,4 trillion token ma’lumotlarini qayta ishlashga o'rgatilgan. Microsoft aprel oyida kichik modelni taqdim etdi.

Faqat 3,8 milliard faol parametrlarga ega bo'lgan “Phi-3.5-mini” koʻp tilli vazifalarda raqobatbardosh bo'lib, juda ko'p parametrlarga ega bo'lgan katta til modellari bilan taqqoslanadi. Bundan tashqari, model endi kontekst uzunligini 128 ming token bilan qo'llab-quvvatlaydi va uning asosiy raqibi “Gemma-2”, atigi 8 ming.

“Phi-3.5 — vision” bu “256 Nvidia A100 GPU” dan foydalangan holda 500 milliard tokenga o'rgatilgan 4,2 milliard parametrli model. U ko'p ramkali tasvirlar va mulohazalarni tahlil qilish imkoniyatiga ega. Model “MMMU”da ishlashni 40,2 dan 43 gacha, “MMBench”da 80,5 dan 81,9 gacha, “TextVQA”da 70,9 dan 72 gacha yaxshiladi.

#suniyintellekt #AI #IT #microsoft

Manba: habr.com