Abdullah Yusuf Azzam dilahirkan di salah sebuah kampung di Utara Palestin yang dikenali sebagai Selat al-Harithia di daerah Jenin pada tahun 1941. Bapanya bernama Mustaffa yang meninggal dunia setahun selepas pembunuhan anaknya. Ibunya pula bernama Zakia Saleh yang meninggal dunia setahun sebelum Sheikh Abdullah Azzam dibunuh. Ibunya dikebumikan di kem Pabi, di Pakistan.
Beliau dari keluarga yang baik dan amat kuat berpegang dengan ajaran agama Islam. Keluarga beliau amat menyayanginya. Beliau juga amat istimewa berbanding kanak-kanak lain yang sebaya dengannya sewaktu kecil. Ini kerana beliau amat kuat beragama, pintar dan mula menyebarkan dakwah pada usia yang masih muda. Rakan-rakan beliau mengenali beliau sebagai seorang yang warak dan amat disenangi oleh semua. Guru-guru beliau melihat keistimewaan ini sejak beliau di bangku sekolah lagi dan beliau amat disayangi oleh mereka. Beliau menyertai gerakan al-Ikhwan-ul-Muslimin sebelum mencapai usia baligh lagi hasil didikan guru-gurunya yang terlibat dengan gerakan tersebut.
Sheikh Abdullah Azzam telah dikenali kerana ketabahan dan sifat beliau yang serius sejak beliau masih kecil lagi. Beliau menerima pendidikan awal peringkat sekolah rendah dan menengah di kampung beliau sebelum menyambung pelajaran beliau di Kolej Pertanian Khadorri sehingga ke peringkat Diploma. Walaupun beliau merupakan pelajar termuda di kalangan rakan-rakannya yang lain,namun beliau merupakan yang paling pandai dan bijak. Setelah menamatkan pengajian di Kolej Khadorri beliau bekerja sebagai seorang guru di sebuah kampung bernama Adder di Selatan Jordan. Kemudian beliau menyambung pengajian di Kolej Shariah di Universiti Damsyik sehingga memperolehi Ijazah Sarjana Muda di dalam bidang Shariah pada 1966. Selepas pihak Yahudi menawan Tebing Barat pada tahun 1967, Sheikh Abdullah Azzam berhijrah ke Jordan, kerana beliau tidak mahu tinggal di bawah penjajahan Yahudi di Palestin. Pengalaman melihat kereta-kereta kebal Israel bergerak masuk ke Tebing Barat tanpa apa-apa tentangan meningkatkan azam beliau untuk berhijrah bagi mendapatkan kemahiran yang diperlukan untuk berperang.
Pada lewat 1960-an beliau menyertai Jihad menentang penjajahan Israel di Palestin dari Jordan. Pada ketika itu juga beliau menerima Ijazah Sarjana di dalam bidang Shariah dari Unversiti al-Azhar. Pada tahun 1970 sesudah Jihad terhenti kerana kekuatan PLO dipaksa keluar dari Jordan, beliau menjadi seorang pensyarah di Universiti of Jordan di Amman. Pada tahun 1971 beliau dianugerahkan biasiswa ke Universiti al-Azhar di Kaherah di mana beliau memperolehi Ijazah Kedoktoran di dalam bidang Usul al-Fiqh pada 1973. Ketika di Mesir beliau telah berkenalan dengan keluarga Syed Qutb.
Sesudah kepulangannya ke Jordan beliau telah berhijrah ke Arab Saudi untuk berkhidmat sebagai pensyarah di salah sebuah universiti di sana. Pada tahun 1979 beliau meninggalkan universiti tersebut untuk berpindah ke Pakistan agar berada hampir dengan suasana Jihad di Afghanistan. Di sana juga beliau mengenali pemimpin-pemimpin Jihad. Semasa mula-mula tiba di Pakistan beliau telah dilantik sebagai pensyarah di Universiti Islam Antarabangsa di Islamabad. Selepas beberapa ketika beliau mengambil keputusan untuk berhenti dari tugas mengajar di universiti untuk menumpukan keseluruhan masa dan tenaga beliau kepada usaha Jihad di Afghanistan.
Sikap dan pemikiran Abdullah Azzam banyak dipengaruhi oleh suasana Jihad di Afghanistan. Lebih menarik lagi suasana jihad di Afghanistan juga sangat banyak dipengaruhi oleh pemikiran beliau semenjak beliau menumpukan seluruh masanya untuk berjihad. Beliau menjadi seorang yang disegani di medan jihad Afghanistan dan juga di kalangan para pemimpin Afghan sendiri. Beliau telah mencurahkan seluruh daya usahanya untuk menyebarkan dan memahamkan isu jihad di Afghanistan kepada seluruh umat Islam di serata dunia. Beliau mengubah pandangan umat Islam tentang Jihad di Afghanistan daripada perjuangan rakyat Afghanistan mempertahankan tanah air mereka semata-mata kepada menyedarkan bahawa Jihad adalah tuntutan Islam yang dipertanggungjawabkan ke atas seluruh umat Islam di serata dunia. Berkat hasil usaha beliau, Allah S.W.T. telah menjadikan Jihad I Afghanistan sebagai satu Jihad universal yang disertai oleh ramai umat Islam dari serata pelusuk dunia.
Jihad di Afghanistan telah menjadikan Abdullah Azzam tunggak dan symbol pergerakan Jihad zaman ini. Melalui usaha beliau menyertai jihad ini, menyebarkan dan memahamkannya kepada umat Islam menjadikan beliau berjaya mengubah pemikiran umat Islam tentang jihad dan keperluan ummat ini kepada jihad. Beliau menjadi ikon generasi muda yang menyahut seruan jihad. Beliau sangat menghargai Jihad dan amat menekankan keperluan Ummah Islam kepada jihad. Pernah beliau berkata, ‘Aku rasa seperti baru berusia 9 tahun, 7 setengah tahun di Jihad Afghan, 1 setengah tahun di Jihad Palestin dan tahun-tahun yang selebihnya tidak bernilai apa-apa.’
Beliau juga melatih ahli keluarganya dengan kefahaman dan semangat yang sama. Isteri beliau contohnya, terlibat dengan penjagaan anak-anak yatim dan lain-lain kerja kebajikan di Afghanistan. Beliau sendiri menolak jawatan pensyarah dari beberapa buah universiti sambil berikrar bahawa beliau tidak akan meninggalkan jihad sehingga beliau gugur Syahid. Beliau juga selalu mengatakan bahawa matlamat utama beliau adalah untuk membebaskan Palestin selepas berjaya memerdekakan Afghanistan. Tentu sekali komitmennya yang sebegitu tinggi ini menimbulkan keresahan di kalangan musuh-musuh Islam. Akhirnya mereka bersekongkol untuk membunuh beliau. Pada tahun 1989, sebuah periuk api anti kereta kebal telah diletakkan di bawah mimbar yang beliau gunakan untuk menyampaikan khutbah Jumaat. Bahan letupan tersebut adalah sangat merbahaya dan sekira meletup akan memusnahkan masjid tersebut bersama-sama dengan segala-gala benda dan para jemaah di dalamnya. Tetapi dengan perlindungan Allah, periuk-api tersebut tidak meletup dan ratusan orang Islam terselamat.
Musuh-musuh Islam ini terus berusaha tanpa putus asa. Pada hari Jumaat, 24 November 1989 di Peshawar, Pakistan, tiga buah bom telah dipasang di sebatang jalan yang sempit yang sering diambil oleh Abdullah Azzam untuk ke masjid pada hari Jumaat. Beliau meletak kereta di kedudukan bom pertama dan kemudian berjalan ke masjid untuk bersolat Jumaat. Beliau telah terbunuh dan gugur syahid bersama-sama dengan dua orang anak lelakinya, Muhammad dan Ibrahim, beserta dengan anak lelaki al-marhum Sheikh Tamim Adnani (seorang lagi perwira di Afghan) dengan 20kg TNT (Dinamit) yang diletupkan dengan alat kawalan jauh. Selepas letupan yang kuat itu itu orang ramai keluar beramai-ramai dari masjid dan kelihatanlah satu keadaan yang mengerikan. Hanya bahagian kecil dari kereta tersebut yang kelihatan. Anak beliau, Ibrahim, melambung 100 meter; begitu juga dengan dua orang anak-anak lagi. Cebisan mayat mereka berteraburan di atas pokok-pokok dan wayar-wayar elektrik. Tubuh Sheikh Abdullah Azzam pula telah dijumpai bersandar pada sebuah tembok, dalam keadaan sempurna, tiada luka atau kecederaan walau sedikitpun melainkan sedikit darah yang mengalir dari bibir beliau. Begitulah tamatnya kehidupan seorang Mujahid di dunia ini dan insha-Allah menyambung pula kehidupannya di sisi Allah. Beliau dikebumikan di Tanah Perkuburan Shuhada Pabi di mana beliau menyertai ribuan para Shuhada.
Di antara usaha terbesar beliau di medan jihad Afghanistan ialah penyatuan pihak-pihak pejuang Afghanistan dari pelbagai latar belakang untuk menentang Russia. Orang-orang Afghan yang sememangnya dikenali dengan kekerasan dan perpecahan di kalangan mereka telah berjaya disatukan oleh Abdullah Azzam di bawah satu panji jihad. Sayangnya, selepas beliau syahid, dan selepas Afghanistan berjaya mencapai kemerdekaan dari penjajahan Russia, puak-puak pejuang Afghanistan kembali berpecah dan berperang sesama sendiri.
Beliau juga berjasa dalam menubuhkan briged jihad mujahidin Arab yang dating dari seluruh pelusuk dunia untuk bersama-sama dengan saudara Afghan mereka menentang Russia. Para mujahidin Arab ini telah dididik dan dilatih di kem mereka yang tersendiri. Di antara graduan dari kem tersebut ialah Usamah Ben Laden yang telah bertindak sebagai ketua para mujahidin Arab selepas kematian Abdullah Azzam. Kem ini kemudiannya dijadikan sebagai kem latihan para mujahidin dan pejuang Islam yang ingin berjuang di mana-mana bumi umat Islam yang meletusnya jihad. Sehinggalah ianya dimusnahkan oleh Amerika Syarikat sewaktu terletusnya perang Afghanistan 2001.
Yang pastinya, seperti yang telah disebutkan sebelum ini, nama beliau akan tetap dikenang sebagai orang yang bertanggung jawab menimbulkan semula kecintaan umat Islam di serata dunia terhadap fardhu jihad yang semakin dilupakan sebelum peperangan Afgahnistan.