Inizia da vice-allenatore nella Reggiana (annoverando una breve parentesi da traghettatore assieme a Fabiano Speggiorin). Nel 2000 è alla Viterbese in coppia con Giuliano Dell’Orto, ma viene esonerato e l’esperienza si conclude dopo pochi mesi. Nel 2001 va alla Fiorentinadove diventa collaboratore tecnico prima e vice di Roberto Mancini poi. L’11 gennaio 2002 dopo le dimissioni di Mancini, fu nominato allenatore della prima squadra insieme all’altro vice Luciano Chiarugi. Dopo tre giorni lasciano il posto a Ottavio Bianchi e lascia definitivamente i viola insieme al preparatore dei portieri Pietro Battara.
Legnano, Venezia, Salernitana e Lecce
Nel 2002 subentra in corsa sulla panchina del Legnano, mentre nel 2003 va in Serie B col Venezia, squadra che guida alla salvezza allo spareggio col Bari. L’11 ottobre 2004 è alla Salernitana in Serie B, con cui conquista la salvezza, partendo da una classifica deficitaria, con i granata ultimi in classifica. L’estate 2005 approda in Serie A al Lecce. L’avvio è negativo e, dopo appena cinque partite in cui raccoglie solo un pari e quattro sconfitte, con la squadra penultima in classifica viene esonerato, il 26 settembre.
Vicenza
Il 3 ottobre 2006, dopo l’esonero di Giancarlo Camolese, diventa nuovo allenatore del Vicenza, la squadra dei biancorossi si risolleva dal penultimo posto fino a metà classifica: al momento del suo arrivo il Vicenza aveva un punto in 5 giornate, terminerà la stagione all’undicesimo posto. Guida i berici alla salvezza nei due campionati successivi.
Atalanta
Il 5 giugno 2009, attraverso un comunicato sul proprio sito ufficiale, l’Atalanta annuncia di averlo assunto come allenatore, in sostituzione di Luigi Delneri.
Dopo un avvio di campionato negativo dove subisce quattro sconfitte consecutive nelle prime 4 gare che portano la squadra ad essere ultima con 0 punti in classifica (un solo gol fatto), il 21 settembre è esonerato dall’incarico di allenatore dell’Atalanta dopo la pesante sconfitta per 4 a 1 contro il Bari, la quarta consecutiva. A conferma del suo scarso feeling con la serie A, detiene pertanto un poco gratificante record: ha allenato due squadre diverse ottenendo zero vittorie, un pareggio e ben otto sconfitte.
Sassuolo
Il 3 ottobre 2010 viene ingaggiato dal Sassuolo, in sostituzione dell’esonerato Daniele Arrigoni. Il 9 maggio 2011, dopo la sconfitta subìta nello scontro diretto con il Piacenza che ha portato la squadra in zona retrocessione, Gregucci viene esonerato e gli subentra Paolo Mandelli, allenatore della Primavera.
Reggina
L’8 gennaio 2012 viene ingaggiato dalla Reggina al posto di Breda. Il 31 gennaio ottiene la prima vittoria alla guida dei calabresi contro il Gubbio per 3-1. Dopo lo scarso feeling con la società viene esonerato dal club amaranto il 14 aprile 2012 dopo il pareggio interno con il Crotone.
Collaboratore del Manchester City e ritorno alla Salernitana
Il 12 agosto 2012 ritorna nello staff di Roberto Mancini ricoprendo il ruolo di collaboratore tecnico del Manchester City. Il 15 maggio 2013 lascia il club in concomitanza all’esonero di Mancini.
Il 26 gennaio 2014 torna ad allenare la Salernitana al posto dell’esonerato Perrone, riuscendo a conquistare la Coppa Italia Lega Pro e a raggiungere gli spareggi promozione, nei quali però i granata escono al primo turno. A fine stagione, rifiuta il rinnovo contrattuale con i granata.
Casertana e Leyton Orient
Il 1º luglio dello stesso anno si accasa nella vicina Caserta, come tecnico della Casertana in Lega Pro 2014-2015. Il 24 novembre il presidente del club, Giovanni Lombardi, nonostante il 2º posto in classifica esonera Gregucci sostituendolo con Salvatore Campilongo.
Segue una breve esperienza a Londra con il Leyton Orient, come collaboratore tecnico dell’allenatore Fabio Liverani.
Torna in Italia il 30 settembre 2015 quando diventa allenatore dell’Alessandria in Lega Pro. Il 18 gennaio 2016 riesce, battendo 2-1 lo Spezia, a portare la squadra in semifinale di Coppa Italia venendo poi eliminato dal Milan. In campionato si piazza al quarto posto e ai play-off viene eliminato al turno preliminare dal Foggia. Sostituito il 15 giugno da Piero Braglia, il 17 luglio rescinde il proprio contratto con l’Alessandria.
Il giorno seguente firma un contratto annuale come allenatore in seconda dell’Inter ritrovando Roberto Mancini dopo le esperienze con Fiorentina e Manchester City.In quei giorni si occupa di coordinare a Brunico la preparazione dei giocatori arrivati dopo in ritiro mentre il resto della squadra è con Mancini negli USA. L’8 agosto seguente, con l’addio all’Inter di Mancini, Gregucci viene esonerato con il resto dello staff.
Il 16 giugno 2017 entra nello staff dello Zenit San Pietroburgo chiamato nuovamente dall’attuale allenatore Roberto Mancini.Il 15 maggio 2018 dopo le dimissioni di Mancini si svincola dal club russo.
Il 23 maggio entra nello staff dell‘Italia, affiancando per la quinta volta Roberto Mancini, rescindendo il contratto il 20 dicembre 2018.
Salernitana
Il 20 dicembre 2018 torna per la terza volta alla Salernitana per sostituire il dimissionario Stefano Colantuono.