Jeho filmový debut z roku 1934 Guločka (Kulička - podle povídky G. de Maupassanta) byl ještě němý a výrazové prostředky němého filmu si udržel i v několika následujících filmech, natáčených už se zvukem (Hlídka v poušti). Ve 30. letech se věnoval filmům s politickou tematikou (Lenin v říjnu, Lenin v roce 1918). Významným dílem byl obraz osudů žen v německých koncentračních táborech Člověk č. 217 (1944).

Po válce režíroval několik snímků s historicko či válečnou tematikou a paralelně začal také vyučovat na moskevské filmové škole VGIK. Ve studiu Mosfilm také působil jako umělecký vedoucí skupiny mladých začínajících režisérů. Věnoval se i filmové teorii a je autorem několika odborných publikací a studijních textů o filmu.

Původně studentský scénář Daniila Chabrovického Devět dní jednoho roku zpracoval v roce 1961 do překvapivě moderního snímku ze života jaderných fyziků. Dlouhé přípravy i realizace provázely vznik jeho dalšího zásadního díla Obyčejný fašismus (1965), v němž formou střihového dokumentu odhaluje kořeny diktátorských režimů. Ve snímku Romm osobně hovoří a komentuje (v české verzi filmu jeho monolog přemluvil M. Horníček). Snímek A přece jenom věřím začal natáčet v roce 1968, ale před jeho dokončením, 1. listopadu 1971, zemřel. Film dokončili jeho žáci v roce 1976.