Cẩm Sơn nằm ở phía Nam huyện Cẩm Xuyên, cách huyện lỵ 7km, sát chân dãy núi Hoành Sơn. Phía Bắc giáp xã Cẩm Hà, phía Đông giáp xã Cẩm Lộc, phía Đông, Đông Nam giáp xã Cẩm Lạc, phía Tây giáp xã Cẩm Thịnh, phía Nam giáp dãy núi Hoành Sơn.

Cẩm Sơn là vùng đất bán sơn địa, có diện tích tự nhiên 4.832,21ha; trong đó đồi núi, bãi chiếm 3/4 diện tích. Phượng Hoàng đôi ngọn núi như một cặp vợ chồng, có đồi bãi nằm rải rác, đan xen giữa làng mạc, đồng ruộng, là lợi thế tiềm năng về chăn nuôi, trồng cây công nghiệp. Bãi rành dài rộng trải dài từ Đông sang Tây giữa trung tâm xã, đất cát bạc màu trước đây chỉ có cây rành sinh sống, thực dân Pháp đã xây dựng sân bay phục vụ cho sự đô hộ của chúng, nơi đây có một lượng khoáng sản Ti tan, Zi côn quý hiếm nằm ở dưới lòng đất mới được phát hiện vào thế kỷ 20.

Con sông Quèn nhỏ hẹp bắt nguồn từ đỉnh Bồ Bồ, Hoành Sơn uốn lượn qua núi đồi làng mạc rồi đổ ra biển Cửa Nhượng. Nguồn đầu sông là hồ nước Thượng Tuy được xây dựng từ năm 1960 đưa nước tưới cho đồng ruộng Cẩm Sơn và các xã phía Nam huyện Cẩm Xuyên.

Về phân bố dân cứ xã Cẩm Sơn có 9 đơn vị thôn được chia thành 3 vùng Nam Sơn gồm các thôn Thượng Sơn, Vinh Sơn, Quỳnh Sơn; vùng Tây Sơn gồm các thôn Phúc Sơn, Thọ Sơn, An Sơn; Vùng đông sơn gồm các thôn Trung Sơn, Hương Sơn và Lĩnh Sơn.