اپل مدل زبانی نوینی را معرفی کرده که با بهره‌گیری از معماری پیشرفته، توانایی تولید متون طولانی و پیچیده را با سرعت بسیار بالا و دقت قابل‌توجهی دارد. این مدل که بر پایه فناوری دیفューژن (Diffusion) طراحی شده، می‌تواند متون را تا ۱۲۸ برابر سریع‌تر از مدل‌های هم‌رده تولید نماید.
تفاوت بنیادین با مدل‌های خودرگرسیو
برخلاف مدل‌های زبانی بزرگ مانند چت‌جی‌پی‌تی (ChatGPT) که از نوع خودرگرسیو (Autoregressive) بوده و متن را به صورت توکن‌به‌توکن می‌سازند، مدل‌های دیفیوژن چندین توکن را به‌صورت همزمان تولید کرده و در چند مرحله آن‌ها را اصلاح می‌کنند تا به نتیجه نهایی برسند. مدل فلو‌مچینگ (Flow-matching) که یکی از پیشرفته‌ترین انواع مدل‌های دیفیوژن است، فرآیند اصلاح چندمرحله‌ای را حذف کرده و تلاش می‌کند خروجی نهایی را در یک گام واحد به دست آورد.
🔗 بیشتر بخوانید: عکس روز ناسا: هسته سحابی کارینا
معرفی معماری FS-DFM
تحقیق اخیر اپل با عنوان «FS-DFM: Fast and Accurate Long Text Generation with Few-Step Diffusion Language Models» مدل نوینی به نام Few-Step Discrete Flow-Matching (FS-DFM) را ارائه می‌دهد. این معماری قادر است متون طولانی را تنها با هشت مرحله اصلاح و با سرعت بسیار بالا تولید کند، در حالی که مدل‌های دیفیوژن معمولی بیش از هزار مرحله را برای رسیدن به کیفیت مشابه نیاز دارند.
استراتژی‌های بهینه‌سازی سرعت
برای دستیابی به این عملکرد، محققان از سه گام کلیدی استفاده کرده‌اند: در ابتدا، مدل یاد می‌گیرد که چندین مرحله اصلاح متن را مدیریت نماید؛ سپس یک مدل «معلم» برای انجام به‌روزرسانی‌های دقیق و مقیاس‌بزرگ‌تر در هر مرحله به کار گرفته می‌شود؛ و در نهایت، نحوه اجرای هر مرحله بهینه می‌شود تا مدل بتواند با طی مراحل کمتر و ثبات بیشتر به نتیجه مطلوب برسد.
🔗 بیشتر بخوانید: مایکروسافت نسخه جدید اپ استور تحت وب ویندوز را راه‌اندازی کرد
بررسی معیارهای کیفیت: آنتروپی و سردرگمی
در مقایسه با مدل‌های بزرگ مشابه، FS-DFM در معیارهای «آنتروپی» و «سردرگمی» (Perplexity) عملکرد قابل‌توجهی نشان داده است. سردرگمی کیفیت متن را اندازه می‌گیرد؛ هرچه مقدار آن پایین‌تر باشد، متن طبیعی‌تر و دقیق‌تر است. آنتروپی نیز میزان اطمینان مدل در انتخاب هر واژه را مشخص می‌کند؛ مقدار پایین‌تر نشان‌دهنده متن تکراری یا قابل‌پیش‌بینی و مقدار بالاتر بیانگر متن نامنسجم یا تصادفی است.
عملکرد برتر با پارامترهای کمتر
مدل FS-DFM با اندازه‌های ۱.۷، ۱.۳ و ۰.۱۷ میلیارد پارامتر، در مقایسه با مدل‌های Dream و LLaDA که ۷ و ۸ میلیارد پارامتر دارند، عدد پایین‌تری در معیار سردرگمی و نتیجه پایدارتری در آنتروپی به دست آورده است. این امر نشان‌دهنده کارایی بالا و کارایی پارامتریک این معماری نوین است.
برنامه انتشار کد و منابع
با توجه به عملکرد ممتاز و برتری بر مدل‌های مشابه، محققان اعلام کرده‌اند که قصد دارند کد و چک‌پوینت‌های مدل را منتشر کنند تا امکان بازتولید نتایج و تحقیقات بیشتر فراهم گردد. مطالعه کامل مقاله در arXiv شامل مثال‌های عملیاتی و نمودارهایی است که مراحل اصلاح هر توکن و نحوه تغییرات آن را تشریح می‌کند.
