کوچ هشت نابغه و خلق استارتاپ‌های میلیاردی

به گزارش خبرگزاری ۶۰ثانیه، در ۲۰۱۷، هشت پژوهشگر مقاله‌ای منتشر کردند که امروز یکی از نقاط عطف تاریخ هوش مصنوعی به شمار می‌رود. آنها در «توجه تمام چیزی است که نیاز دارید» (Attention Is All You Need) معماری ترنسفورمر را معرفی کردند؛ معماری‌ای که در آزمایش ترجمه انگلیسی به آلمانی به امتیاز ۲۸٫۴ رسید و در ترجمه انگلیسی به فرانسوی نیز رکورد ۴۱٫۸ را ثبت کرد.

ترنسفورمر از یک دردسر قدیمی شروع کرد برای فهمیدن اینکه چرا این مقاله مهم شد، باید به مشکلی برگردیم که پژوهشگران آن زمان با آن دست‌وپنجه نرم می‌کردند. شبکه‌های عصبی تکرارشونده (RNN) متن را دنباله‌وار پردازش می‌کردند؛ یعنی سیستم باید تا حد زیادی قدم‌به‌قدم جلو می‌رفت.

این روش برای جمله‌های کوتاه بد نبود، اما وقتی فاصله میان دو کلمه زیاد می‌شد، پیدا کردن ارتباط آنها سخت‌تر می‌شد و مهم‌تر اینکه پردازش ترتیبی، استفاده کامل از توان پردازنده‌های موازی را محدود می‌کرد. مقاله ترنسفورمر دقیقاً همین گره را هدف گرفت.

خودتوجهی ارتباط میان کلمات را مستقیم پیدا می‌کند فرض کنید در جمله‌ای می‌خوانیم: «مریم کتاب را برداشت چون آن را لازم داشت.» برای فهمیدن اینکه «آن» به چه چیزی اشاره می‌کند، باید رابطه میان کلمات را ببینیم، نه اینکه فقط یکی‌یکی از روی آنها عبور کنیم.

خودتوجهی (Self-Attention) همین کار را در مقیاس بسیار بزرگ‌تر انجام می‌دهد: هر واژه هنگام پردازش، اهمیت واژه‌های دیگر را محاسبه می‌کند و بر اساس آن، نمایش دقیق‌تری از معنای خودش می‌سازد. در معماری پیشنهادی، این کار با سه جزء مفهومی «پرسش»، «کلید» و «ارزش» انجام می‌شود.

نتیجه ساده به نظر می‌رسد، اما پیامدش مهم بود: مدل می‌توانست ارتباط میان بخش‌های دور از هم جمله را مستقیم‌تر بررسی کند. ترنسفورمر زنجیره پردازش را کوتاه‌تر کرد نوآوری فقط در خودتوجهی خلاصه نمی‌شد.

معماری پیشنهادی از لایه‌هایی تشکیل شد که در آنها خودتوجهی چندسر (Multi-Head Attention) و شبکه‌های پیش‌خور کنار هم قرار گرفتند. چندسر بودن یعنی مدل به یک رابطه از چند زاویه نگاه کند؛ انگار چند نفر هم‌زمان یک جمله را بررسی کنند و هرکدام روی نوع متفاوتی از ارتباط تمرکز کنند.

همین طراحی باعث شد ترنسفورمر بدون نیاز به بازگشت مداوم به محاسبات قبلی، بخش بزرگی از کار را موازی انجام دهد. پژوهشگران گزارش کردند مدل جدید هم کیفیت بالاتری دارد و هم زمان آموزش را به‌طور محسوسی کاهش می‌دهد.

هشت نویسنده بعداً هرکدام راه خودشان را رفتند موفقیت مقاله فقط در آزمایشگاه نماند. گزارش «وایرد» نشان می‌دهد هر هشت نویسنده بعداً گوگل را ترک کردند، اما مسیر همه آنها یکی نبود.

اشیش واشوانی و نیکی پارمار به تأسیس «اِسنشیال ای‌آی» رسیدند، آیدان گومز «کوهیر» را راه انداخت، ایدان گومز در کنار آن به توسعه مدل‌های هوش مصنوعی برای کاربردهای سازمانی پرداخت، ایدان گومز تنها نویسنده‌ای نبود که از دل آن تیم به کسب‌وکار رسید؛ جاکوب اوشکُرایت «این‌سپتیو» را بنیان گذاشت، ایلییا پولوسوخین به «نیر» رفت و لیون جونز از بنیان‌گذاران «ساکانا ای‌آی» شد. لوکاش کایزر مسیر متفاوتی رفت و به اوپن‌ای‌آی پیوست.

نوآم شازیر نیز «کاراکتر ای‌آی» را تأسیس کرد، مدتی به گوگل بازگشت و در ۲۰۲۶ دوباره راهی اوپن‌ای‌آی شد. چند سال بعد، ارزش این ایده میلیاردی شد «کوهیر» در سپتامبر ۲۰۲۵ اعلام کرد که ارزش‌گذاری‌اش به حدود ۷ میلیارد دلار رسیده است.

«ساکانا ای‌آی» نیز در دور سرمایه‌گذاری سری ب در نوامبر ۲۰۲۵ به ارزش‌گذاری پس از سرمایه‌گذاری حدود ۲٫۶۵ میلیارد دلار رسید. البته این اعداد را نباید به معنای ارزش حاصل از خود مقاله دانست؛ آنها ارزش شرکت‌هایی هستند که سال‌ها بعد و با فعالیت‌های تجاری بسیار گسترده‌تر شکل گرفته‌اند.

شاید مهم‌ترین بخش داستان همین‌جا باشد. هشت پژوهشگر در ۲۰۱۷ نمی‌دانستند قرار است معماری آنها بعدها پایه طیفی از مدل‌های هوش مصنوعی مولد شود؛ آنها در ابتدا می‌خواستند مسئله‌ای مشخص در پردازش زبان را بهتر حل کنند.

اما معماری‌ای که ساختند یک مزیت کلیدی داشت: به‌جای وادار کردن ماشین به حرکت قدم‌به‌قدم در متن، راهی برای دیدن روابط میان اجزای مختلف آن در اختیارش گذاشت. همین تغییر، ترنسفورمر را از یک راه‌حل برای ترجمه ماشینی به یکی از مهم‌ترین الگوهای ساخت مدل‌های هوش مصنوعی تبدیل کرد.

گزارش «وایرد» نیز روایت می‌کند که اعضای تیم خیلی زود حدس زده بودند این ایده می‌تواند فراتر از ترجمه و برای انواع دیگر بیان انسانی به کار رود.