سیستم‌های هوش مصنوعی که به تازگی در نظر گرفتیم، نتیجه چندین دهه پیشرفت مداوم در فناوری هوش مصنوعی هستند.
نمودار بزرگ زیر این تاریخچه هشت دهه گذشته را به چشم انداز می آورد. این بر اساس مجموعه داده تولید شده توسط Jaime Sevilla و همکاران است.7
هر دایره کوچک در این نمودار نشان دهنده یک سیستم هوش مصنوعی است. موقعیت دایره در محور افقی نشان می‌دهد که سیستم هوش مصنوعی چه زمانی ساخته شده است، و موقعیت آن در محور عمودی میزان محاسباتی را نشان می‌دهد که برای آموزش سیستم هوش مصنوعی خاص استفاده شده است.
محاسبات آموزش در اندازه گیری می شود عملیات ممیز شناوریا به اختصار FLOP. یک FLOP معادل یک جمع، تفریق، ضرب یا تقسیم دو عدد اعشاری است.
تمام سیستم‌های هوش مصنوعی که بر یادگیری ماشینی متکی هستند نیاز به آموزش دارند و در این سیستم‌ها محاسبات آموزشی یکی از سه عامل اساسی است که قابلیت‌های سیستم را هدایت می‌کند. دو عامل دیگر الگوریتم ها و داده های ورودی مورد استفاده برای آموزش هستند. تجسم نشان می دهد که با افزایش محاسبات آموزشی، سیستم های هوش مصنوعی قدرتمندتر و قوی تر شده اند.
جدول زمانی به دهه 1940 باز می گردد، همان آغاز کار رایانه های الکترونیکی. اولین سیستم هوش مصنوعی نشان داده شده “Theseus”، موش روباتیک کلود شانون در سال 1950 است که در ابتدا به آن اشاره کردم. در انتهای دیگر جدول زمانی، سیستم‌های هوش مصنوعی مانند DALL-E و PalM را می‌بینید که توانایی‌هایشان برای تولید تصاویر واقعی و تفسیر و تولید زبانی است که به تازگی دیده‌ایم. آنها از جمله سیستم های هوش مصنوعی هستند که تا به امروز از بیشترین میزان محاسبات آموزشی استفاده می کنند.
محاسبات آموزشی در مقیاس لگاریتمی ترسیم شده است، به طوری که از هر خط شبکه به خط بعدی 100 برابر افزایش می یابد. این دیدگاه بلندمدت افزایش مستمری را نشان می دهد. در شش دهه اول، محاسبات آموزشی مطابق با قانون مور افزایش یافت و تقریباً هر 20 ماه دو برابر شد. از حدود سال 2010، این رشد تصاعدی سرعت بیشتری داشته است، به مدت زمانی که تنها در حدود 6 ماه دوبرابر شده است. این یک نرخ رشد شگفت آور سریع است.8
زمان‌های دوبرابر شدن سریع به افزایش‌های زیادی منجر شده است. محاسبات آموزشی PalM 2.5 میلیارد پتافلاپ بود، که بیش از 5 میلیون برابر بزرگتر از AlexNet بود، هوش مصنوعی با بزرگترین محاسبات آموزشی تنها 10 سال قبل.9
مقیاس‌سازی قبلاً تصاعدی بود و در دهه گذشته به طور قابل‌توجهی سرعت گرفته است. چه چیزی می توانیم از این تحول تاریخی برای آینده هوش مصنوعی بیاموزیم؟