Ia adalah seorang tokoh dari kalangan Anshar yang ikut baiat pada Bai’atul ‘Aqabah kedua, dengan demikian ia termasuk as-saabiquunal awwaluun ( golongan yang pertama masuk islam). Keistimewaan yang menonjol dari dirinya adalah dalam hal fiqih, hal ini mendapat pujian dari Rasulullah saw, dalam sabda Rasulullah : “ umatku yang paling tahu akan yang halal dan haram ialah Mu’adz bin jabal.” Dalam kecerdasan otak dan keberaniannya mengemukakan pendapat, Mu’adz hamper sama dengan ‘Umar bin Khaththab.
Dalam menghukumi sesuatu Mu’adz berpedoman kepada kitabulah, jika ia tidak menjumpainya dalam kitabullah, ia berpedoman pada sunnah Rasul, jika ia tidak menemuinya dalam sunnah Rasul, maka maka ia menggunakan akal fikirannya untuk berijtihad, dan ia tidak akan berlaku semaunya.
‘Aidzullah bin ‘Abddullah bercerita : “pada awal pemerintahan ‘Umar, ia berada dalam suatu majlis yang dihadiri oleh tiga puluh orang lebih, masing-masing menyebutkan sebuah hadits yang mereka terima dari Rasulullah saw, dalam halaqah tersebut ia dapati seorang anak muda yang tampan, kulitnya hitam manis, dan baik tutur katanya. Usianya paling muda diantara yang lainnya. Jika mereka mendapati keraguan terhadap suatu hadits, mereka menanyakannya kepada anak muda itu dan ia segera memberikan fatwanya. Dan ia tidak berbicara kecuali bila diminta. Dan ketika majlis itu berakhir, ‘Aidzullah menanyakan siapa namanya. Dan ia menjawab , saya adalah Mu’adz bin Jabal.
Mu’adz memiliki otak yang terlatih dan logika yang menawan. Ia seorang yang pendiam, dan tidak berbicara kecuali atas permintaan hadirin. Dan kedudukannya yang tinggi dalam bidang pengetahuan mendapat penghormatan kaum muslimin kepadanya, baik selagi Rasulullah saw masih hidup, maupun setelah beliau wafat. Mu’adz adalah seorang yang murah tangan, berhati lapang dan berbudi tinggi. Jika ada yang meminta sesuatu kepadanya maka ia akan memberinya dalam jumlah yang banyak dan dengan hati yang ikhlas. Sungguh kemurahan hatinya telah menguras hartanya.
Dimasa pemerintahan Abu Bakar, Mu’adz berada di Yaman. ‘Umar tahu bahwa Mu’adz telah menjadi seorang yang kaya raya, maka ‘Umar Mengusulkan kepada Khalifah Abu Bakar agar kekayaan Mu’adz dibagi dua. Tanpa menunggu jawaban Abu Bakar, ‘Umar pergi ke rumah Mu’adz dan mengemukakan masalah tersebut. Mu’adz adalah seorang yang bersih tangan dan berhati suci. Seandainya ia telah menjadi seorang yang kaya raya maka kekayaan itu diperolehnya secara halal, dan tidak pernah diperolehnya melalui jalan dosa, bahkan ia pun tak hendak menerima barang yang syubhat. Oleh sebab itu, usul ‘Umar ditolaknya dna alasan yang dikemukakannya dipatahkan. Maka ‘Umar pun berpaling dan meninggalkannya.
Pada keesokan harinya, Mu’adz segera pergi ke rumah ‘Umar. Ketika sampai disana ‘Umar dirangkul dan dipeluknya, sementara air mata mengalir mendahului perkataannya seraya berkata, “malam tadi saya bermimpi masuk kolam yang penuh dengan air, hingga saya cemas akan tenggelam. Untunglah anda datang dan menyelamatkan saya, wahai ‘Umar…!” kemudian bersama-sama mereka datang kepada Abu Bakar, dan Mu’adz meminta kepada khalifah untuk mengambil seperdua hartanya. “tidak ada sesuatupun yang akan saya ambil darimu” ujar Abu Bakar. “sekarang harta itu telah halal dan jadi harta yang baik” kata ‘Umar menghadapkan pembicaraannya kepada Mu’adz.
Mu’adz pindah ke Syiria, tempat ia tinggal bersama penduduk dan orang yang berkunjung kesana. Ia bertindak sebagai guru dan ahli hukum. Dan tatkala Abu ‘Ubaidah (gubernur militer disana pada waktu itu) yang merupakan sahabat karib Mu’adz meninggal dunia, maka Mu’adz diangkat oleh Amirul Mu’minin ‘Umar sebagai penggantinya di Syiria. Tetapi ia hanya beberapa bulan saja memegang jabatan itu karena ia dipanggil Allah SWT untuk menghadap-Nya dalam keadaan tunduk dan menyerahkan diri. Dan ia wafat pada usia 33 tahun.
Dalam sakaratul mautnya munculah dari bawah sadarnya hakikat segala yang bernyawa ini, dan seandainya ia dapat berbicara niscaya akan mengalirlah dari lisannya kata-kata yang dapat menyimpulkan urusan dan kehidupannya. Dan pada saat-saat itu Mu’adz pun mengucapkan perkataan yang menunjukkan bahwa dirinya seorang mu’min besar. Matanya menatap ke arah langit, dan bermunajat kepada Allah seraya berkata, “Ya Allah, sesungguhnya selama ini aku takut kepada-Mu, tetapi hari ini aku mengharapkan-MU… Ya Allah, Engkau mengetahui bahwa aku tidaklah mencintai dunia demi untuk mengalirkan air sungai atau menanam kayu-kayuan, tetapi hanyalah untuk menutup haus dikala panas dan menghadapi saat-saat yang gawat, serta untuk menambah ilmu pengetahuan, keimanan, dan ketaatan” lalu diulurkanlah tangannya seolah-olah hendak bersalaman dengan maut, dan dalam keberangkatannya ke alam ghaib ia sempat mengatakan, “selamat datang wahai maut, kekasih tiba disaat diperlukan” dan nyawa Mu’adz pun melayang menghadap Allah. Kita semuanya kepunyaan Allah… Dan kepada-Nya kita kembali.
Sumber : serial karakteristik perihidup 60 shahabat Rasulullah