Figlio di un artigiano, conseguito il diploma all’Istituto Statale d’Arte frequenta l’Accademia di Belle Arti, da cui viene espulso dopo pochi anni per cattiva condotta. Prosegue pertanto come autodidatta, e in questo periodo sono significativi gli incontri con Giovanni Papini e soprattutto con Ardengo Soffici, che lo avvicina all’arte futurista e al movimento di Marinetti. Da qui traggono ispirazione le sue prime opere (Bottiglia + zantuntun, 1912). Prima del rigore pittorico degli anni venti e trenta, alla fase futurista si alterna un breve periodo cubista (Paesaggio, 1914).

Aderendo al futurismo, si arruola come volontario nel Regio Esercito e partecipa alla prima guerra mondiale ricevendo due medaglie d’argento. Alla fine della guerra, il rientro nella società è difficile e Rosai trova nelle nuove idee del giovane Mussolini l’entusiasmo e lo slancio che cercava per opporsi alla borghesia e al clericalismo che tanto detesta.
In questo periodo la sua pittura ritrae persone della sua famiglia, nature morte o figure di anziane tristemente sedute. Nel novembre 1920 tiene la sua prima esposizione personale a Firenze. Nel 1922 la sua vita è segnata dal suicidio del padre, annegatosi in Arno per debiti. Nei suoi scritti giovanili rivela di sentirsi colpevole di quella morte, e di dover vivere due vite, la sua e quella del padre. Per risanare la difficile situazione economica della famiglia, è infatti costretto a rilevare la bottega di falegnameria del padre e a diradare la sua attività pittorica.
Nel periodo della maturità, Rosai si dedica invece all’osservazione degli umili e alla descrizione di scene di vita quotidiana, improntate al tipico populismo toscano; esse sono riconducibili ad una fase della pittura italiana che può definirsi post-futurista, caratterizzata dal ritorno all’ordine, dove a emergere sono volumi, contorni nitidi e colore ricco. In particolare, l’uso dei volumi e dei colori di Rosai si ispira fortemente a Cézanne. Allo stesso tempo, la sua pittura resta tipicamente fiorentina e in essa riecheggia il Quattrocento di Masaccio (Giocatori di toppa, 1920 – Il concertino, 1927).

I quadri di Ottone Rosai vedono spesso protagonisti umili e pacifici popolani, colti in atteggiamenti quotidiani. Essi, posti nel contesto della pittura italiana del ventennio fascista, quindi spesso ricollegati a una maniera di regime, in realtà nascondono un’intima contraddizione: sono infatti la risposta mite e pacifista all’eroica e dannunziana energia vitale inneggiata dai Futuristi.
Negli anni trenta il disagio esistenziale di Rosai lo conduce a vivere in luoghi isolati, lontani dalla comunità, e la sua pittura si carica di collera e di pessimismo; i suoi autoritratti delineano una figura di artista tormentato e dolente, ma nel 1932 arriva la sua consacrazione a pittore di primo livello con una personale a Palazzo Ferroni, nella sua città. Fanno seguito numerose altre esposizioni in altre città, fra cui Milano, Roma, Venezia. Nel 1939 viene nominato professore di figura disegnata al Liceo Artistico, e nel 1942 gli viene assegnata la cattedra di pittura all’Accademia di belle arti di Firenze.
Dopo l’8 settembre 1943, Rosai viene fatto oggetto di una brutale aggressione, questa volta da parte di antifascisti che vedono in lui un sostenitore del regime ma ne ignorano le umiliazioni subite dai gerarchi. Nel 1944 gli fu portato in casa Bruno Fanciullacci, ferito; l’omicidio da questi compiuto ai danni del filosofo Giovanni Gentile sollevò l’indignazione di Rosai che subito gli rinfacciò «Bella impresa uccidere un povero vecchio».

Nel 1949-1950, Rosai aderisce al progetto dell’importante collezione Verzocchi, sul tema del lavoro, inviando, oltre a un autoritratto, l’opera I muratori; la collezione Verzocchi è attualmente conservata presso la Pinacoteca Civica di Forlì. Negli anni cinquanta comincia a farsi conoscere in ambito internazionale, partecipando a rassegne in città come Zurigo, Parigi, Londra, Madrid. Un’esposizione organizzata a Firenze viene riproposta poi nei musei di molte città tedesche.
A Firenze nel 1954 dipinge e dona gratuitamente, in seguito all’iniziativa del Comitato per l’estetica cittadina di rinnovare gli antichi tabernacoli in rovina con opere di artisti contemporanei, una Crocifissione, la quale testimonia il perdurare dell’interesse di Rosai per la tradizione tre-quattrocentesca toscana: Giotto e Masaccio sono ancora i punti di riferimento di un linguaggio che si è fatto tuttavia,con gli anni,sempre più aspro e scontroso, esasperando la propria radice espressionista. Rosai riduce ormai la pittura a un groviglio di segni brutali e adotta una cromia dai toni sordi e cupi, stravolgendo le fisionomie in maschere di un crudo primitivismo. Ciò che negli anni venti e trenta, gli anni di “Strapaese”, aveva significato per lui un recupero di semplicità, brutale sì, ma piena di sanguigno vigore, lascia il posto, nel dopoguerra, al desolato squallore di un universo pittorico che non sembra trovare sollievo neanche nella fede e mette in scena una sacra rappresentazione di raggelante forza espressiva.

Nel 1957, mentre cura ad Ivrea l’allestimento di una sua personale, muore colto da infarto