مغولستان اولین بار در سال ۱۹۶۴ در بازیهای المپیک شرکت کرد و از آن زمان در تمام دورههای المپیک تابستانی به جز یک بار حضور داشته است. این کشور در تحریم المپیک تابستانی ۱۹۸۴ به رهبری اتحاد جماهیر شوروی شرکت نکرد.
مغولستان همچنین از سال ۱۹۶۴ در المپیک زمستانی حضور داشته و تنها یک دوره، یعنی المپیک زمستانی ۱۹۷۶، را از دست داده است.
ورزشکاران مغولستانی تاکنون ۳۰ مدال در رشتههای مختلف المپیک تابستانی کسب کردهاند. این مدالها در رشتههایی مانند کشتی آزاد، بوکس، تیراندازی و جودو به دست آمدهاند.
پیش از المپیک ۲۰۰۸، مغولستان رکورددار کسب مدال نقره و برنز بدون کسب مدال طلا بود. اولین مدال طلای این کشور در رشته جودو توسط نایدانگین تووشینبایار در دسته نیمهسنگین مردان کسب شد.
اولین ورزشکار بینالمللی موفق مغولستان، جیگجیدین مونخبات، کشتیگیر بود. او در سال ۱۹۶۷ مدال برنز قهرمانی جهان و در سال بعد مدال نقره المپیک را کسب کرد.
کمیته ملی المپیک مغولستان در سال ۱۹۵۶ تأسیس و در سال ۱۹۶۲ توسط کمیته بینالمللی المپیک به رسمیت شناخته شد.