BAKANLIK DÖNEMİ
1983 yılının mayıs ayında kurulan Anavatan Partisi'nde kurucu üye ve Genel Başkan yardımcısı oldu. Aynı yıl Kasım ayında yapılan genel seçimde Rize milletvekili seçildi. Birinci Turgut Özal hükümetinde Bilgilendirmeden Sorumlu Devlet Bakanlığı'na atandı ve hükümet sözcülüğü yaptı. 1986 yılında Kültür ve Turizm Bakanı oldu. Bu dönemde Türkiye-Federal Almanya ve Türkiye-Yugoslavya ekonomi karma komisyonlarının başkanlıklarını yürüttü. 1986 yılında ANAP içerisinde yaşanan Turgut Özal ile Bedrettin Dalan arasındaki ayrışmada Dalan tarafında olsa da Özal'ı karşısına almamıştır.
29 Kasım 1987 seçimlerinde yeniden Rize milletvekili seçildi. İkinci Özal hükümetinde Dışişleri Bakanlığı'na atandı. 1988 yılından sonra Avrupa Demokrasi Birliği genel başkan yardımcılığı yaptı. Yılmaz, Akbulut Hükümeti'nde de üstlendiği bu görevden 20 Şubat 1990'da istifa etti.
ANAP GENEL BAŞKANLIĞI VE BAŞBAKANLIKLARI
15 Haziran 1991 tarihinde yapılan Anavatan Partisi Büyük Kongresi'nde genel başkanlığa seçildi. Kurduğu hükümet 5 Temmuz 1991 günü TBMM Genel Kurulu'nda güvenoyu aldı. 20 Ekim 1991 günü yapılan genel seçimlerden sonra ana muhalefet partisi lideri olarak çalışmalarını sürdürdü.
24 Aralık 1995'te yapılan genel seçimler sonrası Anavatan Partisi ileDoğru Yol Partisi tarafından oluşturulan 53. hükümetin başbakanı olarak görev yaptı.