Природный камень и дерево были первыми строительными каменными материалами, из которых еще тысячелетия назад возводились различные каменные конструкции. В конце первобытной эпохи из грубо отесанных глыб камня начали строить крепости. В это же время широкое развитие получили мегалитические (т. е. выполненные из огромных камней) постройки гробниц, святилищ и т. д. Позже каменные материалы стали подвергать тщательной теске.
До наших дней сохранились каменные конструкции гробниц египетских фараонов - пирамиды, выполненные из больших тесаных каменных материалов. Высота самой большой пирамиды (фараона Хеопса), возведенной около 6000 лет тому назад в Гизе, равна 146,6м, а длина сторон основания в плане 233 м; для постройки этой пирамиды было использовано 2,3 млн. шт. каменных материалов, каждый весом от 2,5 до 30 т. Добыча, теска, доставка каменных материалов и возведение из них гробниц и храмов выполнялись рабами.
Дальнейшее развитие общества и связанный с ним рост науки и техники, торговли, мореплавания и строительства потребовали более рационального использования труда и каменных материалов, что вынудило древних строителей отказаться от применения крупноразмерных тяжелых камней и перейти к кладке каменных конструкций из относительно мелких камней, выложенных на глиняном, известковом или гипсовом растворах.
Тысячелетиями исчисляется и длительность применения искусственных каменных материалов. Сырцовый кирпич использовался еще 8000 лет назад, но его малая прочность заставила строителей перейти на более эффективный обожженный кирпич. В III в. до н. э. часть Великой китайской стены была выложена из обожженного кирпича. Кирпич играл большую роль в постройках древнего Вавилона.