رایانههای عصبی تفاضلپذیر چیست؟
رایانههای عصبی تفاضلپذیر (DNC) یک نوع معماری شبکه عصبی با حافظه تقویتشده هستند که توسط تیم DeepMind در سال ۲۰۱۶ معرفی شد. این مدل با الهام از معماری فون نویمان طراحی شده و توانایی یادگیری وظایف الگوریتمی پیچیده را دارد.
کاربردها
DNCها در وظایفی مانند پردازش گراف و توالیها عملکرد بهتری نسبت به شبکههای عصبی سنتی نشان دادهاند. همچنین، این مدلها میتوانند بدون نیاز به برنامهنویسی مجدد، برای وظایف مختلف آموزش ببینند. این قابلیت به آنها امکان میدهد تا دادههای پیچیده مانند گرافها را به صورت توالیوار پردازش و برای استفادههای آینده ذخیره کنند.
معماری
DNCها با افزودن مکانیزمهای توجه حافظهای و زمانی به ماشینهای تورینگ عصبی (NTM) ایجاد شدهاند. این ساختار به آنها امکان میدهد تا وظایف با وابستگیهای بلندمدت را بهتر از مدلهایی مانند LSTM انجام دهند. حافظه در DNCها به صورت پویا تخصیص داده میشود و به صورت نامحدود قابل دسترسی است.
بهبودها
بهبودهایی مانند آدرسدهی حافظه پراکنده و زمان محاسبات سازگار (ACT) به کارایی و انعطافپذیری DNCها افزودهاند. همچنین، استفاده از گرادیانهای مصنوعی و نرمالیزاسیون لایهها به افزایش پایداری مدل کمک کرده است.