Helt siden åpningen i 1814 har det blitt undervist i fysikk ved Universitetet i Oslo. Instituttets tidligste år var preget av lite ressuser til forskning, og fysikkprofessorenes arbeidsoppgaver var på denne tiden først og fremst knyttet til undervisning og administrativt arbeid. De neste tiårene kunne man likevel se en økning i interessen for fysikk som fag.
I 1843 fikk instituttet sin første fulle vitenskapelige stilling, og mot slutten av 1800-tallet hadde fysikkstudiet gjennomgått store endringer. Laboratorieøvelser var innført som en obligatorisk del av undervisningen, unge forskere var gitt bedre arbeidsforhold og undervisningen på høyere nivå hadde blitt styrket.
Større satsning på forskning, samt fremvekst av nye forskningsområder, førte også til at organisatoriske endringer ved instituttet var nødvendig. I 1924 ble instituttet delt inn i avdeling A og B, hvor det særlig på 20- og 30-tallet var avdeling B som utmerket seg som den store forskningsavdelingen.
Etter hvert kom det en avdeling C for teoretisk fysikk, og også en avdeling D. Mot midten av 1900-tallet utviklet det seg flere ulike forskningsgrupper under de to avdelingene. Under avdeling A tilhørte gruppene for røntgenkrystallografi, akustikk og kjernefysikk, mens avdeling B hadde nordlysforskning og optisk spektroskopi som spesialfelt.
Det utviklet seg også nære samarbeid med nye og eksterne forskningsinstitutter, noe som har vært en forutseting for dagens ordning der eksterne forskere har selvstendig ansvar for undervisning av mastergradsstudenter gjennom professor II-stillinger.
På slutten av 1950-tallet skjedde det en eksplosiv økning i studenttallet og i løpet av de neste fem årene vokste instituttet voldsomt. Undervisningen ble nå ansett som en instituttoppgave og skulle ikke lenger innordnes de ulike avdelingene.
I 1964 ble det for første gang valgt en instituttbestyrer, slik dagens ordning er. Dette førte til større medbestemmelsesrett blant de ansatte og en mer demokratisk form for styring, og var den gang et pionerarbeid både ved fakultet og universitetet. En endring til denne styreformen var antakeligvis også en viktig årsak til at studentopptøyene og uroen ved universiteter over hele verden var lite merkbar ved både instituttet og fakultetet.
Kilde: Festskrift til Roald Tangen, 8. feb. 1992: Epoker i Fysisk institutts historie av Trygve Holtebekk