初任奉礼郎、大理评事一类小官，后经枢密副使庞籍的推荐，入京為馆阁校勘，同知礼院，至和元年（1054），随庞籍到了并州（今山西）為官，改并州通判。
从嘉二年（1057）庞籍因事获罪，司马光引咎离开并州。宋仁宗末年任天章阁待制兼侍讲同知諫院。嘉佑六年（1061）迁起居舍人同知諫院。
司马光立志编撰《通鉴》，作為统治者的借鉴。治平三年（1066）撰成战国迄秦的《通鉴》八卷上进宋英宗，英宗命设局续修，并供给费用，增补人员。
宋神宗以其书有鉴於往事，以资於治道，赐书名《资治通鉴》，并亲為之序。王安石在宋神宗的支持下行新政，他竭力反对，与安石在帝前争论，强调祖宗之法不可变。
神宗命他為枢密副使，坚辞不就。熙寧三年（1070），自请离京，以端明殿学士知永兴军（现陕西省西安市），次年退居洛阳，任西京留守御史臺，以书局自随，继续编撰《通鉴》，至元丰七年（1084）成成后，司马光官升為资政殿学士。
元丰八年（1085）宋哲宗即位，高太皇太后听政，召他入京主国政，次年任尚书左僕shè、兼门下侍郎，数月间罢黜新党，尽废新法，史称元祐更化。
元祐元年九月，司马光执政一年半，即与世长辞，享寿68岁，京师人為之罢市往吊，鬻衣以致奠，巷哭以过车者。盖以千万数，灵柩送往夏县时，民哭公甚哀，如哭其私亲。四方来会葬者盖数万人家家掛象，饭食必祝。宋哲宗将之葬於高陵。
死后追赠太师、温国公，諡正，赐碑忠清粹德。
遗著有《潜虚》、《均韵指掌》、《类编》、《传家集》、《翰林诗草》、《注古学经》、《易说》、《注太玄经》、《注扬子》、《书仪》、《游山行记》、《续诗治》、《医问》、《涑水纪闻》、《通鑑目录》、《通鑑考异》、《通鑑举要歷》、《稽古录》（《歷年图》、《歷代君臣事迹》和《百官公卿表》）、《切韵指掌图》、《司马正公集》等等37种。
司马光在政治上是标準的守旧派，他几度上书反对王安石变法。他认為刑法新建的国家使用轻典，混乱的国家使用重典。这是世轻世重，不是改变法律。
所谓治天下譬如居室，敝则修之，非大坏不更造也。司马光与王安石，就竭诚為国来说。二人是一致的，但在具体措施上，各有偏向。
王安石主要是围绕著当时财政、军事上存在的问题，通过大刀阔斧的经济、军事改革措施来解决燃眉之急。
司马光则认為在守成时期，应偏重於通过伦理纲常的整顿，来把人们的思想束缚在原有制度之内，即使改革。也定要稳妥，因為大坏而更改，非得良匠美材不成，今二者皆无。臣恐风雨之不庇也。
王安石新法大都切中实弊，反对新法的人，面对实际的政治问题，通常并无任何卓见。他们反对的理由包括新法扰民及祖宗之法不可废，却又提不出什麼更好的改革方法。
例如司马光批评王安石变法的理由之一是南人不可当政。他上奏宋神宗曰：闽人狭险，楚人轻易，今二相皆闽人，二参政皆楚人，必将援引乡党之士，充塞朝廷，风俗何以更得淳厚？
宋神宗熙寧年间，司马光强烈反对王安石变法，上疏请求外任。熙寧四年（1071），他判西京御史台，自此居洛阳十五年，不问政事。这段悠游的岁月司马光主持编撰了294卷300万字的编年体史书《资治通鉴》。
《资治通鉴》上起周威烈王二十三年（前403），下迄五代后周世宗显德六年（959），共记载了16个朝代1362年的歷史，歷经19年编辑完成。
他在《进资治通鉴表》中说：臣今筋骨癯瘁，目视昏近，齿牙无几，神识衰耗，目前所谓，旋踵而忘。臣之jing力，尽於此书。司马光為此书付出毕生jing力，成书不到2年，他便积劳而逝。
《资治通鉴》从发凡起例至删削定稿，司马光都亲自动笔，不假他人之手。清代学者王鸣盛说：此天地间必不可无之书，亦学者必不可不读之书。
不得谩语─
司马光一生诚信，应该也是受父亲的诚实教育的影响，大概在五、六岁时，有一次，他要给胡桃去皮，他不会做，姊姊想帮他，也去不掉，姊姊就先行离开了，后来一位婢女用热汤替他顺利将胡核去皮，等姐姐回来，便问：谁帮你做的？他欺骗姊姊是自己做的。
父亲便训斥他：小子怎敢说谎。司马光从此不敢说谎，年长之后，还把这件事，写到纸上，策励自己，一直到死，没有说过谎言。邵雍的儿子邵伯温还看过这张纸。清人陈宏谋说：司马光一生以至诚為主，以不欺為。后人对司马光盖棺论定之语，也是一个诚字。
破瓮救友─
有一次，司马光跟小伙伴们在后院里玩耍。院子里有一口大水缸，有个小孩爬到缸沿上玩，一不小心，掉到水缸里。缸大水深，要没顶了。别的孩子们一见出了事，吓得边哭边喊，跑到外面向大人求救。
司马光却急中生智，从地上捡起一块大石头，使劲向水缸砸去，砰!水缸破了，缸里的水流了出来，被淹在水裡的小孩也得救了。
小小的司马光遇事沉著冷静，从小就是一副小大人模样。这件偶然的事件使小司马光出了名，东京和洛阳有人把这件事画成图画，被人们广泛流传。
诚信卖马─
司马光要卖一匹马，这匹马毛sè纯正漂亮，高大有力，xing情温顺，只可惜夏季有肺病。司马光对管家说：这匹马夏季有肺病，这一定要告诉给买主听。管家笑了笑说：哪有人像你这样的呀？我们卖马怎能把人家看不出的毛病说出来！
司马光可不认同管家这种看法，对他说：一匹马多少钱事小，对人不讲真话，坏了做人的名声事大。我们做人必须得要诚信，要是我们失去了诚信，损失将更大。管家听后惭愧极了。
低调淡泊─
司马光xing情淡泊不喜奢华，他在《训俭示康》中曾提到小时后长辈会给他穿华美的衣服，他总是害羞脸红而把它脱下。
宝元年间中举时，曾得到仁宗皇帝的接见。酒席宴会上，每人都在头上插满鲜花，肆无忌惮地嬉戏取乐，唯独司马光正襟危坐，也不戴花。同事提醒说：戴花乃皇上之令也！司马光才不太情愿地戴了一朵小花。
司马光有一个老僕，一直称呼他為君实秀才。一次，苏軾来到司马光府邸，听到僕人的称呼，不禁好笑，戏謔曰：你家主人不是秀才，已经是宰相亦，大家都称為君实相公！老僕大吃一惊，以后见了司马光，都毕恭毕敬地尊称君实相公，并高兴地说：幸得大苏学士教导我司马光跌足长嘆：我家这个老僕，活活被子瞻教坏了。