محققان با فقط 30$ فناوری هسته DeepSeek را بازطراحی کردند
تعدادی از محققان در دانشگاه برکلی کالیفرنیا، میگویند که فناوری هسته پیدا شده در نرم افزار انقلابی هوش مصنوعی چینی DeepSeek را فقط با 30$ بازطراحی کردند. این بازطراحی بسیار ارزان DeepSeek نشان میدهد که بله، مدل های شرکت های بزرگ چشمگیر هستند، اما ممکن است روش های مقرون به صرفه تری برای طراحی نیز وجود داشته باشد.
این گروه محققان با رهبری دانشجو دکترا جیای پان، قابلیت های یادگیری DeepSeek R1-Zero را با استفاده از مدل زبانی کوچکی با فقط 3 میلیارد پارامتر، کپی کردند. بدون توجه به سایز نسبتا کوچک آن، این هوش مصنوعی کپی شده، توانایی تایید شخصی و قابلیت های جستجویی را دارد. امکانات کلیدی که به او اجازه میدهد تا پاسخ های خود را به طور مکرر بهبود یابد.
برای امتحان مدل بازطراحی شده خود، تیم دانشگاه برکلی از بازی شمارش استفاده کرد. یک پازل عددی که بر اساس برنامه بریتانیایی انجام میشود که بازیکنان باید در آن از محاسبات استفاده کرده تا به عدد مورد هدف برسند. در ابتدا این مدل حدس های متنوع ارائه میداد اما با استفاده از یادگیری تقویتی، تکنیک هایی برای تصحیح و حل مشکلات پی در پی خود پیدا کرد.
در نهایت یاد گرفت که در جواب های خود تا رسیدن به پاسخ صحیح تجدید نظر کند. آنها همچنین از معادلات ضرب استفاده کردند که هوش مصنوعی در آن با استفاده از خاصیت توزیعی، درست مثل روش ذهنی ای که ممکن است انسان ها معادلات ضرب را حل کنند، حل کرد. این موضوع نشان داد که این مدل میتواند با توجه به مشکل پیش رو خود را تطبیق دهد.
چیزی که مورد توجه میباشد این است که این بازطراحی در مجموع هزینه ای 30 دلاری برای آنها داشت. این مقدار بسیار بسیار کمتر از ان چیزی است شرکت های هوش مصنوعی در مقیاس بزرگ برای آموزش مدل های خود استفاده میکنند. محققان با استفاده از سایز های مختلف، مدل ها را تست کردند. مدل 500 میلیون پارامتری، بدون توجه به دقت، فقط میتوانست حدس زده و توقف کند.
زمانی که پارامتر ها به 1.5 میلیارد رسید، این بازطراحی DeepSeek شروع به استفاده از تکتیک های تجدید نظر کرد. مدل های بین 3 تا 7 میلیارد پارامتر، پیشرفت های قابل توجهی نشان دادند و مشکلات را در قدم های کمتری با دقت بیشتر حل کردند.
در زمان نوشتن این مقاله، OpenAIپانزده دلار برای هر میلیون توکن خود هزینه میگیرد، درحالی که DeepSeek قیمت بسیار کمتر 0.55$ در ازای هر میلیون توکن را دریافت میکند. یافته های تیم برکلی نشان میدهد که مدل های هوش مصنوعی بسیار توانمند میتوانند با مقدار ناچیزی از هزینه ای که هم اکنون توسط کمپانی های هوش مصنوعی پیشرو سرمایه گزاری شده است، توسعه یابند. حتی با توجه به قیمت کمی که DeepSeek نسبت به OpenAI دارد، دلایل احتمالی زیادی وجود دارد که از DeepSeek دوری کنید.
یک دلیل این است که کارشناسان نسبت به گفته های DeepSeek نسبت به هزینه های کم خود مطمئن نیستند. محقق هوش مصنوعی نیتان لمبرت میگوید که ممکن است 5 میلیون دلار گزارش شده برای آموزش مدل 671 میلیارد پارامتری DeepSeek درست نباشد. این هوش مصنوعی همچنین اطلاعات زیادی به چین میفرستد که به همین خاطر قطعا جای نگرانی وجود دارد و هم اکنون نیز به مسدود سازی هایی در بعضی از ایالت های آمریکا منجر شده است.
نیتان لمبرت تخمین میزند که با توجه به همه چیز از جمله ساختار، مصرف انرژی، هزینه های محققان و.. هزینه های سالانه DeepSeek میتواند بین 500 میلیون تا بیش از 1 میلیارد باشد. همچنین OpenAI میگوید که مدارکی مبنی بر اموزش DeepSeek توسط مدل آنها وجود دارد، که میتواند هزینه های کاهش شده را توجیح کند.
با همه این تفاسیر، نتایج تحقیقات تیم برکلی ثابت میکند که یادگیری تقویتی میتواند بدور از بودجه های سرسام آور غول های این صنعت مثل OpenAI، گوگل و مایکروسافت انجام گیرد. بعضی از شرکت ها سالیانه تا 10 میلیارد دلار برای آموزش مدل های خود هزینه میکنند. این تحقیق آنچه را که می تواند به یک تغییر بالقوه مخرب در این زمینه تبدیل شود، برجسته می کند.
منبع: https://bgr.com
