دانشمندان با 50 دلار مدل هوش مصنوعی در حد ChatGPT o1 ساختند!
طبق مقاله ای که جمعه گذشته منتشر شد، محققان هوش مصنوعی در استنفورد و دانشگاه واشنگتن موفق به آموزش مدل “استدلال” هوش مصنوعی با استفاده از پردازش ابری و هزینه کمتر از 50 دلاری شدند.
این مدل، که به نام s1 شناخته میشود، مشابه پیشرفته ترین مدل های استدلال مثل o1 اوپن ای ای و R1 دیپ سیک در تست هایی که قابلیت های ریاضی و کد نویسی را اندازه میگیرد، عمل میکند. در حال حاضر مدل s1 بر روی پلتفرم GitHub و به همراه اطلاعات و کدی که برای آموزش از آن استفاده شده است، در دسترس میباشد.
تیم پشت s1 میگوید که آنها از مدل پایه ای قدیمی برای شروع استفاده و توسط فرایندی به نام “عصاره گیری” آن را تنظیم کرده اند. فرایندی که در آن به استخراج قابلیت های “استدلالی” از مدل هوش مصنوعی ای دیگر با آموزش و اتکا بر پاسخ هایی که داده شده است، میپردازند.
محققان میگویند که s1 عصاره یکی از مدل های استدلال گوگل، به نام Gemini 2.0 میباشد. عصاره گیری همان روشی است که محققان برکلی ماه گذشته در آن به ساخت مدل استدلالی هوش مصنوعی با هزینه ای 450$ کردند.
برای بعضی، ایده اینکه چندین محقق میتوانند بدون در اختیار داشتن میلیون ها دلار در حوزه هوش مصنوعی نوآوری داشته باشند، هیجان انگیز است. اما s1 سوالات زیادی راجب کالایی شدن مدل های هوش مصنوعی مطرح میکند.
مزیت های رقابتی شرکت ها کجاست اگر میشود مدل چندین میلیون دلاری را با پول تو جیبی مشابه سازی کرد؟
جای تعجب نیست که آزمایشگاه های بزرگ هوش مصنوعی از این موضوع خوشحال نیستند. اوپن ای ای دیپ سیک را متهم به استخراج نادرست داده از رابط کاربری خود برای هدف های عصاره گیری مدلی، کرده است.
محققان پشت s1 به دنبال پیدا کردن ساده ترین روش برای رسیدن به عملکرد استدلالی قوی و اجازه دادن به مدل هوش مصنوعی برای فکر کردن بیشتر قبل از اینکه جواب دهد، بودند. اینها چندین تا از پیشرفت های مدل o1 اوپن ای ای هستند که دیپ سیک، و بقیه آزمایشگاه های هوش مصنوعی نیز سعی در مشابه سازی آن به وسیله تکنیک های مختلف میباشند.
مقاله مربوط به s1 پیشنهاد میکند که مدل های استدلالی میتوانند با مجموعه داده ای نسبتا کوچک عصاره گیری شوند. به وسیله روشی که “تنظیم نظارت شده” (SFT) نام دارد، که در آن به مدل هوش مصنوعی به صراحت دستور داده میشود تا رفتار های خاصی را در مجموعه داده ای تقلید کند.
روش SFT اکثر مواقع از روش “یادگیری تقویتی در مقیاس بزرگ” که توسط دیپ سیک برای آموزش مدل R1 خود در رقابت با o1 اوپن ای ای، استفاده شده بود، ارزان تر است.
گوگل اجازه دسترسی رایگان، به Gemini 2.0 را توسط پلتفرم “استدیو هوش مصنوعی گوگل” میدهد. هر چند که با محدودیت های روزانه همراه میباشد.
اما قوانین گوگل اجازه مهندسی معکوس مدل های خود را برای توسعه سرویس هایی که رقابت مستقیم با آنها دارند، نمیدهد. ما با گوگل درباره این موضوع تماس گرفته و منتظر اظهار نظری از سوی آنها میباشیم.
S1 بر پایه مدلی کوچک و قدیمی از آزمایشگاه هوش مصنوعی چینی Qwen که به رایگان در دسترس دانلود است، میباشد. برای آموزش s1، محققان از مجموعه داده ای شامل 1000 سوال به دقت انتخاب شده، استفاده کردند. آنها این سوالات را با جواب های مربوطه، و فرآیند “تفکری” که پشت هر سوال قرار دارد از Gemini 2.0 گوگل گرفته و با هم تلفیق کردند.
بعد از آموزش s1، که با استفاده از 16 عدد کارت گرافیک انویدیا H100 و زمان کمتر از 30 دقیقه ای انجام گرفت. S1 عملکرد بسیار قوی ای در بعضی از بنچمارک های هوش مصنوعی داشت. نیکلاس مونیگوف، محقق استنفوردی که در این پروژه کار کرده است، میگوید که او میتواند قدرت پردازشی لازم را با حدود 20 دلار اجاره کند.
محققان از شگرد خاصی استفاده کردند تا s1 هر پاسخ خود را دوبار چک کند و زمان “تفکر” خود را افزایش دهد. آنها به s1 گفتند که صبر کند. اضافه کردن کلمه “صبر” در زمان استدلال s1 به این مدل کمک کرد تا اندکی جواب های دقیق تری داشته باشد.
در سال 2025، متا، گوگل و مایکروسافت برنامه دارند تا صدها میلیارد دلار در زیرساخت هوش مصنوعی سرمایه گذاری کنند، که تا حدی به سمت آموزش مدل های هوش مصنوعی نسل جدید میرود.
این سطح از سرمایه گذاری ممکن است که هنوز برای نوآوری های هوش مصنوعی نیاز باشد. عصاره گیری نشان داده است که روش خوبی برای باز طراحی قابلیت های مدل های هوش مصنوعی باشد، اما به تولید مدل های بهتری از چیزی که امروزه در دسترس است نمی انجامد.
منبع: https://techcrunch.com
