Город Губкин появился уже после образования Белгородской области и получил статус города в 1955 году, а ранее это был рабочий посёлок. До 1939 года он назывался Коробково — по фамилии жившего здесь помещика. Став городом, Губкин сначала входил в состав Скороднянского района с районным центром в селе Скородное, и только когда сюда переехали районные власти, появился Губкинский район. Сейчас Губкин — центр Губкинского городского округа.
Назвали город в честь Ивана Михайловича Губкина — одного из энтузиастов в развитии и освоении месторождений Курской Магнитной аномалии. Почти 20 лет он руководил работами в бассейне Курской аномалии в районе Губкина, Старого Оскола, и Железногорска Курской области, изучал и разрабатывал методику освоения КМА. Именно под его руководством и была заложена первая шахта. Иван Михайлович сделал очень много для освоения Лебединского месторождения.
Сегодня Губкин — один из тех городов, где активно развивается горно-обогатительная промышленность. Это стало возможным благодаря Коробковскому месторождению железной руды, которое впоследствии стал разрабатывать Лебединский ГОК. Железорудные месторождения вокруг Губкина постепенно начали осваивать в начале 20-го века. В некоторых источниках есть сведения о том, что разработка руд велась ещё в XVIII веке, но результативная горно-обогатительная деятельность в этих местах началась всё-таки только в XX веке.
Руду находили не только в Коробково. В 1920-е годы в деревне Салтыково (сейчас это один из микрорайонов Губкина — прим.Ф.) на глубине чуть более ста метров обнаружили залегания руды с содержанием железа свыше 50 процентов. Это послужило основой для дальнейших исследований на этих территориях. В результате открыли большое Лебединское месторождение, а его освоение способствовало быстрому развитию Коробково и других ближайших населённых пунктов. Вскоре Коробково из небольшого села превратился в рабочий посёлок, и стал разрастаться, поглощая соседние сёла. В 1939 году Коробково переименовали в Губкин.
В период первой пятилетки, в 1931 году, на Коробковском месторождении заложили первую шахту по разработке Курской магнитной аномалии. Эта шахта послужила основой для дальнейшего изучения и освоения КМА и была, по большей части, экспериментальной, — на ней отрабатывалась система добычи железной руды. Шахта была подземной — руду добывали закрытым способом. Этот метод впоследствии в 1950-60 годы стали практиковать на Лебединском и на Стойленском месторождениях.
Первую руду для промышленности добыли в 1933 году. Во время ВОВ работы по освоению месторождений КМА и развитию города приостановили. Территория была оккупирована немецко-фашистскими захватчиками летом 1942 года, когда немцы начали свою наступательную операцию «Блау» — вышли к Воронежу и повернули к Сталинграду.
Освободили Губкин в феврале 1943 года. Многое было разрушено. Ещё при отступлении советской армии с губкинских территорий, шахту взорвали, и немцы во время оккупации пытались её восстановить, чтобы заняться разработкой наших железорудных месторождений. К счастью, период оккупации был недолгим и не позволил им воплотить задуманное в реальность.
После освобождения посёлок восстановили и наладили в нём работу. Продолжалось исследование шахт в окрестностях Губкина, изучался местный геологический ландшафт, связанный с Лебединским месторождением. В 1957 году началось его освоение, был образован ЛГОК, появился комбинат «КМАруда» — мощное предприятие, которое занималось освоением месторождений Курской магнитной аномалии. С небольшой временной разницей вырастали губкинский и старооскольский ГОКи. Было даже соревнование в быстроте и объёмах производительности между Губкиным, где осваивали Лебединское месторождение, и Старым Осколом, где работали в Стойленском.
В тот период подобным соцсоревнованиям в Советском Союзе уделялось пристальное внимание в любой отрасли. К значимым датам на предприятиях старались достичь новых высот и поднимали планку ещё больше: выполнить годовой объём работ ко Дню Великой Октябрьской социалистической революции (7 ноября — прим.Ф.) и тем самым закрыть год. В цехах, которые сумели достичь высоких результатов, новогодние ёлки появлялись уже в первых числах ноября, как подтверждение того, что задачи выполнены досрочно, и год закрыт. Особенно старались отличиться к столетнему юбилею со дня рождения Ленина в 1970 году.
В марте 1960 года приняли указ Президиума Верховного Совета СССР о становлении Губкина городом областного подчинения. Это означало, что Губкин теперь не просто районный центр, а город, сравнимый по своей значимости с Белгородом и Старым Осколом. Городам областного подчинения в советское время выделялось больше средств на капитальное и промышленное строительство, поступало больше различных товаров.
В 1972 году в эксплуатацию ввели первый пусковой комплекс Лебединского ГОКа мощностью 7,5 миллиона тонн руды в год. Сам ГОК строили больше десяти лет. Постепенно вводили другие пусковые комплексы. В 1978 году рудник, ранее находившийся в составе комбината «КМАруда», вошёл в состав Лебединского ГОКа.
По мере развития города шло активное жилищное строительство, город быстро расширялся. В 1980-е годы даже ходили слухи, что Губкин и Старый Оскол соединят. Если бы это произошло, Губкин бы растворился, став одним из районов Старого Оскола, поскольку по численности, количеству промышленных предприятий и темпам освоения КМА Старый Оскол всё-таки был впереди. Потом от этой идеи отказались.
Развал Советского союза в начале девяностых и связанные с этим проблемы в экономике и социальной жизни Губкин пережил более-менее спокойно. Добыча железной руды не прекращалась, а более 2/3 населения города занято в отрасли и на Лебединском ГОКе. В 1990-е в Губкине построили один из красивейших храмов России — Спасо-Преображенский кафедральный собор. Построили его на средства горно-металлургического холдинга «Металлоинвест», при поддержке одного из основных владельцев Лебединского ГОКа.