رونمایی محققان چینی از MemOS: “سیستم عامل حافظه” و قابلیت یادآوری هوش مصنوعی شبیه به انسان

تیمی از محققان موسسات برجسته از جمله دانشگاه شانگهای جیائو تونگ و دانشگاه ژجیانگ، چیزی را که آن‌ها اولین “سیستم عامل حافظه” برای هوش مصنوعی می‌نامند، توسعه داده‌اند. این سیستم به یک محدودیت اساسی که مانع از دستیابی سیستم‌های هوش مصنوعی به حافظه و یادگیری پایدار شبیه انسان شده بود، پاسخ می‌دهد.

این سیستم که MemOS  نام دارد، حافظه را به عنوان یک منبع محاسباتی هسته‌ای در نظر می‌گیرد که می‌توان آن را برنامه‌ریزی کرد، به اشتراک گذاشت و با گذشت زمان تکامل بخشید. این سیستم بسیار شبیه به نحوه مدیریت منابع CPU و فضای ذخیره‌سازی توسط سیستم‌عامل‌های سنتی میباشد. این تحقیق که در تاریخ 4 جولای، معادل با 13 تیر، در arXiv منتشر شد، بهبودهای عملکرد قابل توجهی را نسبت به رویکردهای موجود، از جمله افزایش 159 درصدی در وظایف استدلال زمانی در مقایسه با سیستم‌های حافظه OpenAI، نشان می‌دهد.

محققان در مقاله خود نوشته اند: “مدل‌های زبان بزرگ (LLM) به یک زیرساخت ضروری برای هوش مصنوعی عمومی (AGI)  تبدیل شده‌اند. با این حال، فقدان سیستم‌های مدیریت حافظه تعریف شده، مانع از توسعه استدلال طولانی‌مدت، شخصی‌سازی مداوم و ثبات دانش می‌شود.”

سیستم‌های هوش مصنوعی با حافظه پایدار در مکالمات مشکل دارند

سیستم‌های هوش مصنوعی فعلی با آنچه محققان آن را مشکل “سیلو حافظه یا Memory Silo” می‌نامند، روبرو هستند. این مشکل یک محدودیت معماری اساسی میباشد که مانع از حفظ روابط منسجم و بلندمدت با کاربران می‌شود. هر مکالمه یا جلسه اساساً از ابتدا شروع می‌شود و مدل‌ها قادر به حفظ ترجیحات، دانش انباشته یا الگوهای رفتاری در تعاملات نیستند. این امر یک تجربه کاربری ناامیدکننده ایجاد می‌کند که در آن یک دستیار هوش مصنوعی ممکن است محدودیت‌های غذایی کاربر را که در یک مکالمه ذکر شده است، هنگام درخواست پیشنهاد برای رستوران در مکالمه بعدی فراموش کند.

در حالی که برخی از راه‌ حل‌ها مانند تولید مبتنی بر بازیابی  (RAG)، تلاش می‌کنند این مشکل را با فراخوانی اطلاعات خارجی در طول مکالمات حل کنند، محققان استدلال می‌کنند که این راه حل ها “راه ‌حل‌های بدون حالت و بدون کنترل چرخه عمر” باقی می‌مانند. مشکل عمیق‌تر از بازیابی اطلاعات ساده می باشد. این موضوع درباره ایجاد سیستم‌هایی است که می‌توانند بسیار شبیه به عملکرد حافظه انسان، واقعاً از تجربه یاد بگیرند و تکامل یابند.

این تیم توضیح می‌دهد: “مدل‌های موجود عمدتاً به پارامترهای ثابت و حالت‌های متنی کوتاه‌مدت متکی هستند که توانایی آن‌ها را در ردیابی ترجیحات کاربر یا به روز رسانی دانش در طول دوره‌های طولانی محدود می‌کند.” این محدودیت به ویژه در تنظیمات سازمانی آشکار می‌شود. جایی که از سیستم‌های هوش مصنوعی انتظار می‌رود که متن را در طول گردش‌های کاری پیچیده و چندمرحله‌ای که ممکن است روزها یا هفته‌ها طول بکشد، حفظ کنند.

این سیستم جدید بهبودهای چشمگیری در وظایف استدلال هوش مصنوعی ایجاد می‌کند

MemOS  رویکردی اساساً متفاوت را از طریق آنچه محققان آن را “MemCubes” می‌نامند، معرفی می‌کند. واحدهای حافظه استاندارد شده که می‌توانند انواع مختلفی از اطلاعات را نگه داری کنند و با گذشت زمان، ترکیب، مهاجرت و تکامل یابند. این‌ها از دانش صریح مبتنی بر متن تا سازگاری‌های سطح پارامتر و حالت‌های فعال‌سازی در داخل مدل را شامل می‌شوند و چارچوب یکپارچه‌ای برای مدیریت حافظه ایجاد می‌کنند که قبلاً وجود نداشته است.

در آزمایش‌های بنچمارک LOCOMO که وظایف استدلال فشرده حافظه را ارزیابی می‌کند، MemOS  به طور مداوم از پایه‌های تعیین شده در تمام دسته‌ها بهتر عمل کرد. این سیستم در مقایسه با پیاده‌سازی حافظه  OpenAI، بهبود کلی 38.98 درصدی را، با دستاوردهای به ویژه قوی در سناریوهای استدلال پیچیده که نیاز به اتصال اطلاعات در طول چندین نوبت مکالمه دارند، به دست آورد.

طبق تحقیقات، MemOS (MemOS-0630)  به طور مداوم در تمام دسته‌ها رتبه اول را کسب کرده و از پایه‌های قوی مانند  mem0، LangMem، Zep  و  OpenAI-Memory، با حاشیه‌های به ویژه زیاد در تنظیمات چالش برانگیز مانند استدلال چند گامی و زمانی، پیشی می‌گیرد. این سیستم همچنین بهبودهای قابل توجهی در کارایی با کاهش تا 94 درصد در زمان تا اولین توکن در برخی پیکربندی‌ها از طریق مکانیسم نوآورانه تزریق حافظه KV-cache خود، به همراه داشت.

این افزایش‌های عملکرد نشان می‌دهد که تنگنای حافظه یک محدودیت مهم‌تر از آنچه قبلاً درک شده بود، میباشد. با در نظر گرفتن حافظه به عنوان یک منبع محاسباتی درجه یک، به نظر می‌رسد MemOS قابلیت‌های استدلال را که قبلاً توسط محدودیت‌های معماری محدود شده بودند، باز می‌کند.

این فناوری می‌تواند نحوه استقرار هوش مصنوعی توسط مشاغل را تغییر دهد

پیامدهای این فناوری برای استقرار هوش مصنوعی سازمانی می‌تواند تحول آفرین باشد. به ویژه با توجه به اینکه مشاغل به طور فزاینده‌ای به سیستم‌های هوش مصنوعی برای روابط پیچیده و مداوم با مشتریان و کارمندان متکی هستند. MemOS  آنچه را که محققان “مهاجرت حافظه بین پلتفرمی” می‌نامند، امکان‌پذیر می‌سازد و به حافظه‌های هوش مصنوعی اجازه می‌دهد تا بین پلتفرم‌ها و دستگاه‌های مختلف قابل حمل باشند و آنچه را که آن‌ها “جزایر حافظه” می‌نامند و در حال حاضر زمینه کاربر را در برنامه‌های خاص محدود می‌کنند، از بین ببرند.

فشارهای کنونی را که بسیاری از کاربران زمانی که بینش‌های کشف شده در یک پلتفرم هوش مصنوعی نمی‌توانند به پلتفرم دیگر منتقل شوند تجربه می‌کنند را در نظر بگیرید. یک تیم بازاریابی ممکن است از طریق مکالمات با ChatGPT شخصیت‌های با جزئیات مشتریان را توسعه دهد، و هنگام تغییر به یک ابزار هوش مصنوعی متفاوت برای برنامه ریزی کمپین، نیاز است که تمامی اطلاعات را از ابتدا وارد کند. MemOS این مشکل را با ایجاد یک فرمت حافظه استاندارد که می‌تواند بین سیستم‌ها حرکت کند، حل می‌کند.

این تحقیق همچنین پتانسیل “ماژول‌های حافظه پولی” را تشریح می‌کند. جایی که متخصصان حوزه می‌توانند دانش خود را در واحدهای حافظه قابل خرید بسته‌بندی کنند. محققان سناریوهایی را توصیف می‌کنند که در آن یک دانشجوی پزشکی در دوره بالینی ممکن است بخواهد نحوه مدیریت یک بیماری خودایمنی نادر را مطالعه کند و یا یک پزشک باتجربه می‌تواند اکتشافات تشخیصی، مسیرهای پرسش و الگوهای موردی معمولی را در یک حافظه ساختاریافته ذخیره کند، که می‌تواند توسط سایر سیستم‌های هوش مصنوعی نصب و استفاده شود.

این مدل بازار می‌تواند اساساً نحوه توزیع و کسب درآمد از دانش تخصصی در سیستم‌های هوش مصنوعی را تغییر دهد، فرصت‌های اقتصادی جدیدی را برای متخصصان ایجاد کند و در عین حال دسترسی به دانش حوزه با کیفیت بالا را دموکراتیزه کند. برای شرکت‌ها، این می‌تواند به معنای استقرار سریع سیستم‌های هوش مصنوعی با تخصص عمیق در مناطق خاص، بدون هزینه‌ها و زمان‌بندی‌های سنتی مرتبط با آموزش سفارشی باشد.

طراحی سه لایه شبیه سیستم‌عامل‌های کامپیوتری سنتی است

معماری فنی MemOS منعکس کننده دهه‌ها یادگیری از طراحی سیستم‌عامل‌های سنتی است که برای چالش‌های منحصر به فرد مدیریت حافظه هوش مصنوعی سازگار شده است. این سیستم از یک معماری سه لایه استفاده می‌کند: یک لایه رابط برای فراخوانی‌های  API، یک لایه عملیات برای برنامه‌ریزی حافظه و مدیریت چرخه عمر، و یک لایه زیرساخت برای ذخیره‌سازی و کنترل.

مولفه MemScheduler  سیستم، انواع مختلف حافظه را از حالت‌های فعال‌سازی موقت تا اصلاحات دائمی پارامترها به صورت پویا مدیریت می‌کند و استراتژی‌های بهینه ذخیره‌سازی و بازیابی را بر اساس الگوهای استفاده و الزامات وظیفه انتخاب می‌کند. این نشان‌دهنده یک انحراف قابل توجه از رویکردهای فعلی است که معمولاً حافظه را یا کاملاً ایستا (تعبیه شده در پارامترهای مدل) یا کاملاً زودگذر (محدود به زمینه مکالمه) در نظر می‌گیرند.

محققان با توصیف چشم‌انداز خود برای آنچه آن را پارادایم‌های “Mem-training” می‌نامند، خاطرنشان می‌کنند: “تمرکز از اینکه مدل یک بار چقدر دانش می‌آموزد، به این تغییر می‌کند که آیا می‌تواند تجربه را به حافظه ساختاریافته تبدیل کرده و بارها آن را بازیابی و بازسازی کند.” این فلسفه معماری یک بازنگری اساسی در نحوه طراحی سیستم‌های هوش مصنوعی را پیشنهاد می‌کند و از پارادایم کنونی پیش‌آموزش گسترده به سمت یادگیری پویا‌تر و مبتنی بر تجربه حرکت می‌کند.

شباهت‌ها به توسعه سیستم‌عامل چشمگیر است. همانطور که رایانه‌های اولیه نیاز به برنامه‌نویسان داشتند تا تخصیص حافظه را به صورت دستی مدیریت کنند، سیستم‌های هوش مصنوعی فعلی نیاز به توسعه‌دهندگان دارند تا جریان اطلاعات بین اجزای مختلف را با دقت تنظیم کنند. MemOS  این پیچیدگی را انتزاع می‌کند و به طور بالقوه نسل جدیدی از برنامه‌های هوش مصنوعی را قادر می‌سازد که می‌توانند بر روی مدیریت حافظه پیچیده بدون نیاز به تخصص فنی عمیق ساخته شوند.

محققان کد را به عنوان منبع باز برای تسریع پذیرش منتشر می‌کنند

این تیم MemOS را به عنوان یک پروژه متن باز با کد کامل در  GitHub منتشر کرده است و پشتیبانی یکپارچه‌سازی برای پلتفرم‌های اصلی هوش مصنوعی نیز از جمله  HuggingFace، OpenAI  و Ollama در دسترس می باشد. به نظر می‌رسد این استراتژی متن باز به جای دنبال کردن یک رویکرد اختصاصی که ممکن است پیاده‌سازی گسترده را محدود کند، برای تسریع پذیرش و تشویق توسعه جامعه طراحی شده است.

Zhiyu Li، رهبر پروژه در مخزن GitHub اظهار داشت: “امیدواریم MemOS به پیشرفت سیستم‌های هوش مصنوعی از ژنراتورهای ثابت به عوامل در حال تکامل مداوم و مبتنی بر حافظه کمک کند.” این سیستم در حال حاضر از پلتفرم‌های لینوکس پشتیبانی می‌کند و پشتیبانی از ویندوز و macOS نیز برنامه‌ریزی شده است، که نشان می‌دهد تیم به جای دسترسی فوری مصرف‌کننده، اولویت را به پذیرش سازمانی و توسعه‌دهنده داده است.

استراتژی انتشار متن باز منعکس کننده یک روند گسترده‌تر در تحقیقات هوش مصنوعی است که در آن بهبودهای زیرساختی اساسی به صورت باز به اشتراک گذاشته می‌شوند تا به نفع کل اکوسیستم باشند. این رویکرد از نظر تاریخی نوآوری را در مناطقی مانند چارچوب‌های یادگیری عمیق تسریع کرده است و می‌تواند اثرات مشابهی برای مدیریت حافظه در سیستم‌های هوش مصنوعی داشته باشد.

غول‌های فناوری برای حل محدودیت‌های حافظه هوش مصنوعی رقابت می‌کنند

این تحقیق در حالی منتشر می‌شود که شرکت‌های بزرگ هوش مصنوعی با محدودیت‌های رویکردهای حافظه فعلی دست و پنجه نرم می‌کنند و این موضوع را برجسته می‌کند که این چالش چقدر برای صنعت اساسی شده است. OpenAI اخیراً ویژگی‌های حافظه را برای ChatGPT معرفی کرده است، در حالی که  Anthropic، Google  و سایر ارائه‌دهندگان با اشکال مختلف زمینه پایدار، آزمایش کرده‌اند. با این حال، این پیاده‌سازی‌ها به طور کلی از نظر دامنه محدود بوده و اغلب فاقد رویکرد سیستمی ای هستند که MemOS ارائه می‌دهد.

زمان‌بندی این تحقیق نشان می‌دهد که مدیریت حافظه به عنوان یک میدان نبرد رقابتی حیاتی در توسعه هوش مصنوعی ظاهر شده است. شرکت‌هایی که می‌توانند مشکل حافظه را به طور موثر حل کنند، ممکن است مزایای قابل توجهی در حفظ و رضایت کاربر به دست آورند، زیرا سیستم‌های هوش مصنوعی آن‌ها قادر خواهند بود روابط عمیق‌تر و مفیدتری را در طول زمان ایجاد کنند.

ناظران صنعت مدت‌هاست پیش‌بینی کرده‌اند که پیشرفت بزرگ بعدی در هوش مصنوعی لزوماً از مدل‌های بزرگتر یا داده‌های آموزشی بیشتر نخواهد آمد، بلکه از نوآوری‌های معماری که بهتر از قابلیت‌های شناختی انسان تقلید می‌کنند، نشأت خواهد گرفت. مدیریت حافظه دقیقاً این نوع پیشرفت اساسی را نشان می‌دهد، پیشرفتی که می‌تواند برنامه‌ها و موارد استفاده جدیدی را باز کند که با سیستم‌های بدون حالتِ فعلی امکان‌پذیر نیستند.

این توسعه بخشی از یک تغییر گسترده‌تر در تحقیقات هوش مصنوعی به سمت سیستم‌های با حالت‌تر و پایدارتر است که می‌توانند دانش را در طول زمان جمع‌آوری و تکامل بخشند. قابلیت‌هایی که برای هوش مصنوعی عمومی ضروری تلقی می‌شوند. برای رهبران فناوری سازمانی که پیاده‌سازی‌های هوش مصنوعی را ارزیابی می‌کنند، MemOS  می‌تواند یک پیشرفت قابل توجه در ساخت سیستم‌های هوش مصنوعی باشد که به جای اینکه هر تعامل را مجزا در نظر بگیرند، زمینه را حفظ کرده و در طول زمان بهبود می‌یابند.

تیم تحقیقاتی نشان می‌دهد که قصد دارند در کارهای آتی خود به اشتراک‌گذاری حافظه بین مدل‌ها، بلوک‌های حافظه خود تکامل‌یافته و توسعه یک اکوسیستم گسترده‌تر “بازار حافظه” را بررسی کنند. اما شاید مهمترین تأثیر MemOS نه پیاده‌سازی فنی خاص، بلکه اثبات این باشد که در نظر گرفتن حافظه به عنوان یک منبع محاسباتی درجه یک می‌تواند بهبودهای چشمگیری در قابلیت‌های هوش مصنوعی ایجاد کند. در صنعتی که عمدتاً بر روی مقیاس‌بندی اندازه مدل و داده‌های آموزشی متمرکز بوده است، MemOS  نشان می‌دهد که پیشرفت بعدی ممکن است از معماری بهتر به جای رایانه‌های بزرگتر حاصل شود.

منبع: https://venturebeat.com