Da allenatore introdusse in Italia il "catenaccio", il modulo tattico prettamente difensivo ideato in Svizzera negli anni trenta. L'allenatore triestino sperimentò questo assetto già durante la sua carriera da giocatore, quando giocò nel ruolo di libero nella squadra della Libertas, negli anni dell'immediato dopoguerra. In un'amichevole contro la più quotata Triestina, Rocco riuscì ad infliggere una clamorosa sconfitta agli alabardati, che lo prenotarono per l'anno seguente. La Triestina, finita ultima nella stagione 1946-1947 e ripescata per via della difficile situazione in cui versava la città nel dopoguerra, grazie al nuovo giovane tecnico e alla nuova tattica che prevedeva il battitore libero, arrivò addirittura a classificarsi seconda dietro al Grande Torino nel campionato 1947-1948. Con questo risultato iniziò la storia di Nereo Rocco allenatore.
Venne quasi subito soprannominato el paròn ("il padrone"), soprannome che lo accompagnò per sempre.
Dopo due buoni ottavi posti nelle stagioni seguenti, 1948-1949 e 1949-1950, Rocco venne allontanato dalla Triestina per ragioni mai del tutto chiarite ed assunto dal Treviso, in serie B. Dopo tre stagioni anonime con i trevigiani, Rocco venne richiamato alla guida della Triestina in Serie A, ma ancora fu esonerato nel corso della stagione 1953-1954 dopo un pesante 0-6 casalingo patito contro il Milan.
Rocco non rimase disoccupato a lungo: fu infatti chiamato a salvare un malcapitato Padova, relegato nei bassifondi della cadetteria, pur avendo in rosa giocatori di categoria. Dopo una salvezza insperata, Nereo Rocco preparò il suo Padova per il grande salto in serie A, che avvenne nella stagione successiva 1954-1955. Nella sessione acquisti estiva Rocco fece acquistare Blason, già con lui nella Triestina che si piazzò seconda, Moro e Azzini, destinati a diventare suoi fedelissimi. Nella stagione 1957-1958 il Padova si classificò terzo e negli anni successivi continuò a piazzarsi sempre nelle zone medio - alte della graduatoria.
Dopo aver allenato con Paolo Todeschini la Nazionale olimpica, classificatasi al quarto posto ai Giochi della XVII Olimpiade di Roma,[14][15] Rocco fu ingaggiato dal Milan, dove vinse lo Scudetto al primo campionato. Grande protagonista di quella stagione fu il diciannovenne Gianni Rivera. Nella stagione successiva (1962-1963), Rocco mise in bacheca la prima Coppa dei Campioni del Milan e del calcio italiano, battendo a Wembley il Benfica di Eusebio. Dopo questi trionfi, Rocco finì al Torino, guidandolo per 3 stagioni, con l'acuto del terzo posto nella stagione 1964-1965, per poi assumere l'anno successivo sempre coi granata nella stagione 1966-1967 il ruolo di direttore tecnico. All'inizio della stagione 1967-1968 Rocco fu ingaggiato nuovamente dal Milan con il quale conquistò nuovamente lo scudetto e, nello stesso anno, la Coppa delle Coppe. La stagione seguente fu ancora il turno del massimo alloro europeo, vincendo la seconda Coppa dei Campioni mentre, in quella ancora successiva, dopo una memorabile sfida in Argentina contro l'Estudiantes, gli riuscì di conquistare la Coppa Intercontinentale che al Milan era sfuggita nel 1963.
In quegli anni Rocco consacrò definitivamente il talento di Rivera; inoltre el paròn rivalutò gente come il portiere suo concittadino Fabio Cudicini e l'anziano svedese Kurt Hamrin, già fromboliere con lui a Padova. Dopo aver guidato i diavoli per altre tre annate, vincendo ancora una Coppa delle Coppe nel 1972-1973 e la Coppe Italia nel 1971-1972 e nel 1972-1973, l'allenatore triestino lasciò il Milan a febbraio 1974 per divergenze con la dirigenza. Passò quindi alla Fiorentina che sperava, unendo l'esperienza dell'allenatore triestino al talento e all'energia di alcuni giovani emergenti quali Antognoni, Caso, Della Martira, Desolati, Guerini, di poter lottare per lo scudetto. Ottenne un ottavo posto finale in campionato e lasciò la panchina gigliata a fine maggio 1975, proprio prima della fase finale di Coppa Italia che i viola vinsero.
Ricoprì successivamente il ruolo di direttore tecnico nel Padova e per due stagioni nel Milan, per poi tornare in panchina nel 1977 dopo l'esonero di Giuseppe Marchioro. Vinse la Coppa Italia edizione 1976-77. Detenne per 28 anni, dal campionato 1977-1978, il record di presenze come allenatore in serie A con 787 partite, battuto solo nel 2006 da Carlo Mazzone (arrivato a 795 partite).