Perkembangan suatu bangsa sangat ditentukan oleh sumber daya manusia sebagai pelaku pembangunan. Dengan demikian untuk meningkatkan kualitas sumber daya manusia perlu adanya pendidikan yang terarah baik pendidikan formal, non-formal maupun pendidikan in-formal. Provinsi Aceh sebagai daerah otonomi, tentu memiliki peluang untuk meningkatkan kualitas sumber daya manusianya melalui pendidikan formal yang bergerak dalam bidang pendidikan. Dengan demikian, pencanangan Provinsi Aceh yang bermartabat dan mempunyai sumber daya manusia yang berkualitas, sangat dimungkinkan untuk tercapai. Dengan keyakinan di atas Yayasan Pembangunan Serambi Mekkah Banda Aceh sebagai salah satu yayasan sosial yang berada di Indonesia khususnya di Aceh, terpanggil untuk ikut berperan serta dalam menyiapkan tenaga terampil dalam berbagai jenjang pendidikan sesuai dengan kebutuhan pembangunan bangsa diantaranya tenaga terampil di bidang teknik melalui Fakultas Teknik Universitas Serambi Mekkah.

Pendirian Yayasan Pembangunan Serambi Mekkah di mulai pada tahun 1985, waktu itu dirasakan bahwa Pendidikan Negeri di Provinsi Aceh belum lagi memenuhi kebutuhan masyarakat, terutama sekali kebutuhan akan tenaga pendidik. Di samping itu sarjana dalam bidang pertanian, industri, teknologi dan sebagainya masih terasa minim. Berdasarkan kenyataan ini beberapa pemuka masyarakat Aceh, baik yang berada di Banda Aceh, maupun di Jakarta, terketuk hati mereka untuk turut memberikan perhatian terhadap masa depan Aceh dan kemudian memikirkan berbagai jalan guna membantu daerah dan masyarakat Aceh. Salah seorang tokoh masyarakat Aceh yang bermukim di Jakarta Mr. T. Moehammad Hasan, salah seorang anggota Panitia Persiapan Kemerdekaan Indonesia (PPKI) pada tanggal 21 Maret 1984 mendirikan sebuah yayasan yang bernama Yayasan Pembangunan Serambi Mekkah (YPSM) di Jakarta. Yayasan ini akan bergerak dalam berbagai bidang termasuk bidang pendidikan. Untuk merealisasi kontribusi dalam bidang pendidikan ini pengurus YPSM membentuk sebuah Perguruan Tinggi yang bernama Perguruan Tinggi Serambi Mekkah (PTSM).

Yayasan ingin mendirikan sebuah universitas, akan tetapi karena persyaratan untuk itu belum lagi dapat dipenuhi, maka lembaga tersebut dijadikan sebagai motor guna mewujudkan harapan universitas di kemudian hari, 0leh sebab itu tepatnya tanggal 20 Mei 1985 Perguruan Tinggi Serambi Mekkah (PTSM), resmi didirikan dengan surat pengurus yayasan nomor: 03/YPSM/1985. Pada saat peresmian PTSM pada 16 September 1985 oleh Wakil Gubernur Daerah Istimewa Aceh, Drs. M. Syah Asyek, PTSM baru memiliki dua Sekolah Tinggi, yakni: Sekolah Tinggi Keguruan dan Ilmu Pendidikan (STKIP), dan Sekolah Tinggi Ilmu Tarbiyah (STIT). Untuk dapat berkiprah dengan kebutuhan masyarakat dan pembangunan, YPSM pada 1987 mendirikan Sekolah Tinggi Teknologi Pertanian (STTP), yaitu Sekolah Tinggi yang mengkhususkan diri dalam pengelola agribisnis dan Sekolah Tinggi Teknologi Industri (STTI). STTI pada mulanya merupakan milik sebuah lembaga pendidikan swasta di Banda Aceh, namun karena pengurus yayasan lembaga pendidikan tersebut tidak lagi mampu mengelolanya, STTI diserahkan kepada PTSM guna dibina dan dikembangkan. Berdasarkan Surat Keputusan Menteri Pendidikan dan Kebudayaan Republik Indonesia dengan No. 0752/O/1990 tanggal 31 Desember 1990 memberikan status terdaftar kepada Jurusan/Prodi Teknik dan Manajemen Industri Program S-1 di lingkungan STTI Serambi Mekkah Banda Aceh yang diselenggarakan oleh YPSM. Adapun yang menandatangani surat keputusan tersebut adalah Bapak Bambang Triantoro. Sebagaimana sekolah tinggi lainnya, pada saat pertama sekali didirikan STTI mempunyai satu program studi yaitu: Teknik dan Manajemen Industri. Pada tahun 1997 Sekolah Tinggi Teknologi Industri mencoba menambah satu jurusan/program studi lagi yaitu Teknik Kimia.

Jumlah Mahasiswa dan dosen yang terbatas bukan halangan bagi STTI waktu itu untuk terus berbenah, berkat kerja keras semua pihak maka pada tahun 1997 program studi tersebut mendapat status diakui. Status diakui merupakan suatu peluang dan daya tarik tersendiri bagi masyarakat dalam memilih perguruan tinggi pada waktu itu. Dengan terus memperbaiki kinerja dan mutu, maka STTI sudah mulai menjadi pilihan prioritas bagi masyarakat di provinsi Aceh khususnya untuk memperoleh pendidikan tinggi. Kemudian guna meningkatkan mutu dan kualitas Perguruan Tinggi Serambi Mekkah terus berbenah, dan berdasarkan Surat Keputusan Mendiknas Nomor: 256/D/O/2002 tanggal 30 Oktober 2002 Perguruan Tinggi Serambi Mekkah (PTSM) menjadi Universitas Serambi Mekkah (USM), sehingga Sekolah Tinggi Teknologi Industri juga berubah menjadi Fakultas Teknik Universitas Serambi Mekkah. Guna memenuhi tututan dan kebutuhan masyarakat maka sejak Tahun 2002 Fakultas Teknik Universitas Serambi Mekkah mendapat izin membuka dua program studi baru lagi yaitu Teknik Informatika dan Teknik Lingkungan dengan SK Menteri Pendidikan Nasional Nomor: 256/D/O/2002.