وی در رشته حقوق تحصیل کرده و مدرک خود را از دانشگاه تهران دریافت کرده است.
رحیمی مدتی در شهرهای قروه و سنندج دادستان بود و در دهه 70 نیز مدتی رئیس انجمن شهر سنندج شد و سپس به عنوان استاد درس حقوق دانشگاه آزاد مشغول به کار شد.
پس از آن برای مدتی کوتاه مسوول بخش حقوق دانشگاه آزاد در تهران شد و در سال 1372 به سمت استاندار کردستان درآمد.
پس از روی کار آمدن مجلس هفتم، او رییس دیوان محاسبات شد و در دولت نهم و دهم نیز معاون حقوقی و پارلمانی رئیس جمهور وقت بوده است.
محمدرضا رحیمی در شهریور سال 1388، طی حکمی از سوی محمود احمدی نژاد به عنوان معاون اول رئیس جمهور منصوب شد.