Ứng dụng kỹ thuật cơ khí có thể thấy được qua nhiều thành tựu thời cổ đại và trung đại. Vào thời Hy Lạp cổ đại, các công trình của Archimedes (287-212 BC) có ảnh hưởng rất lớn đối với cơ học truyền thống ở phương Tây và Heron (c. 10 - 70 AD) ở Alexandria đã chế tạo ra động cơ hơi nước đầu tiên (Aeolipile). Ở Trung Quốc, Trương Hành (78 - 139 AD) đã phát minh ra đồng hồ nước và địa chấn kế. Ma Jun (200 - 265 AD) cũng đã phát minh ra xe ngựa với bộ truyền bánh răng vi sai. Nhà xác định thời khắc và kĩ sư Trung Quốc thời trung đại Tô Tụng (1020 - 1101 AD) đã kết hợp cơ cấu con ngựa và tháp đồng hồ thiên văn của ông ta hai thế kỉ trước khi các thiết bị dùng cơ cấu con ngựa được sử dụng trong các đồng hồ của châu Âu thời Trung Cổ. Ông ta cũng được biết đến là người sử dụng bộ truyền xích đầu tiên trên thế giới.

Vào thời đại hoàng kim của Hồi giáo (thế kỉ VII - thế kỉ XV), các nhà phát minh hồi giáo đã có nhiều đóng góp đáng ghi nhận. Al-Jazari là một trong số họ. Ông là tác giả của quyển sách cổ nổi tiếng "Kiến thức về các thiết bị cơ khí tinh xảo" vào năm 1206, trong đó trình bày rất nhiều thiết kế cơ khí. Ông cũng được coi là nhà phát minh của nhiều loại thiết bị cơ khí là căn bản của cơ học hiện nay như trục khuỷu và trục cam.

Trong thế kỷ 17, những đột phá quan trọng trong nền tảng cơ khí đã xảy ra ở Anh. Sir Isaac Newton đã xây dựng định luật Newton về chuyển động và phát triển Calculus, cơ sở toán học của vật lý học. Newton đã miễn cưỡng xuất bản tác phẩm của mình trong nhiều năm, nhưng cuối cùng ông cũng bị thuyết phục bởi các đồng nghiệp, như Sir Edmond Halley, làm lợi cho toàn nhân loại. Gottfried Wilhelm Leibniz cũng được ghi nhận là tạo ra Calculus trong khoảng thời gian này.

Trong cuộc cách mạng công nghiệp vào đầu thế kỉ XIX, máy công cụ được phát triển ở Anh, Đức và Scotlend đã đưa kỹ thuật cơ khí tách ra thành một lĩnh vực riêng biệt trong kĩ thuật. Các máy công cụ được dùng để chế tạo máy và các động cơ để cung cấp năng lượng cho chúng. Cộng đồng nghề nghiệp đầu tiên của Kĩ sư Cơ khí là Hiệp hội Kĩ sư Cơ khíđược thành lập và năm 1847. Ba mươi năm sau, các kĩ sư xây dưng cũng sáng lập nên Hiệp hội Kĩ sư Xây dựng. Ở châu Âu, Johann von Zimmermann (1820 - 1901) đã xây dựng nhà máy đầu tiên về máy mài ở Chemnitz, Đức và năm 1948.

Ở Mỹ, Hiệp hội Kĩ sư Cơ khí Hoa Kì (ASME) được thành lập vào năm 1880, là hiệp hội kĩ thuật chuyên nghiệp thứ ba sau Hiệp hội kĩ sư Xây dựng Hoa Kì (1852) và Viện Kĩ sư mỏ Hoa Kì (1871). Những trường học đầu tiên ở Mỹ dạy kĩ thuật là Học viện Quân sự Hoa Kì (năm 1817), tổ chức hiện tại là Đại học Norwich (1819) và viện Bách Khoa Rensselaer(1825). Việc giảng dạy cơ khí xưa nay luôn dựa trên nền tảng toán học và khoa học.

Nguồn: 

Bách khoa toàn thư mở Wikipedia