مجموعه‌های داده آموزشی، اعتبارسنجی و آزمایش در یادگیری ماشین

در حوزه یادگیری ماشین، یکی از وظایف اصلی مطالعه و ساخت الگوریتم‌هایی است که قادر به یادگیری از داده‌ها و پیش‌بینی بر اساس آنها هستند. این الگوریتم‌ها با ساخت مدل‌های ریاضی از داده‌های ورودی، پیش‌بینی‌ها یا تصمیم‌گیری‌های مبتنی بر داده انجام می‌دهند. داده‌های ورودی معمولاً به چند مجموعه تقسیم می‌شوند که مهم‌ترین آنها مجموعه‌های آموزشی، اعتبارسنجی و آزمایش هستند.

مجموعه داده آموزشی

مجموعه آموزشی مجموعه‌ای از نمونه‌ها است که برای تنظیم پارامترهای مدل (مانند وزن‌ها در شبکه‌های عصبی) استفاده می‌شود. مدل با استفاده از روش‌های یادگیری نظارت‌شده مانند نزول گرادیان روی این مجموعه آموزش می‌بیند.

مجموعه داده اعتبارسنجی

مجموعه اعتبارسنجی برای ارزیابی بی‌طرفانه مدل و تنظیم هایپرپارامترها (مانند تعداد لایه‌ها در شبکه‌های عصبی) استفاده می‌شود. این مجموعه همچنین در تکنیک‌هایی مانند توقف زودهنگام برای جلوگیری از بیش‌برازش به کار می‌رود.

مجموعه داده آزمایش

مجموعه آزمایش برای ارزیابی نهایی مدل استفاده می‌شود. این مجموعه باید کاملاً مستقل از داده‌های آموزشی باشد تا ارزیابی دقیق و بی‌طرفانه‌ای از عملکرد مدل ارائه دهد.

اعتبارسنجی متقاطع

اعتبارسنجی متقاطع روشی است که در آن داده‌ها به طور مکرر به مجموعه‌های آموزشی و اعتبارسنجی تقسیم می‌شوند تا نتایج پایدارتری حاصل شود. این روش از تمام داده‌ها برای آموزش و اعتبارسنجی استفاده می‌کند.