Terim digantikan oleh Carlo Ancelotti, meskipun rumor bahwa Franco Baresi akan menjadi manajer baru. Terlepas dari masalah cedera pemain belakang Paolo Maldini, Ancelotti berhasil dan mengakhiri musim 2001-02 dalam peringkat empat, tempat terakhir untuk di Liga Champions. Starting XI pada saat itu adalah Christian Abbiati; Cosmin Contra, Alessandro Costacurta, Martin Laursen, Kakha Kaladze, Gennaro Gattuso, Demetrio Albertini, Serginho; Manuel Rui Costa; Andriy Shevchenko, Filippo Inzaghi. Ancelotti membawa Milan meraih gelar juara Liga Champions pada musim 2002/2003 ketika mengalahkan Juventus lewat drama adu penalti di Manchester, Inggris. Milan terakhir kali meraih gelar prestisus dengan merebut juara Liga Italia pada musim kompetisi 2003/2004 sekaligus menempatkan penyerang Andriy Shevchenko sebagai pencetak gol terbanyak di Liga Italia, maka rossoneripun semakin ditakuti.