1938年、インド北部、カシミール州ジャンムー生まれ。著名な音楽家だった父ウマシャドット・シャルマの下で、幼少より声楽と打楽器タブラの英才教育を受ける。
ほどなくサントゥールを学び始めたシャルマは、長い歴史を持ちながらも、当時もっぱら歌の伴奏に用いられていたこの楽器の新たな可能性に着眼する。すなわち彼は、サントゥールの弦の数を100本から116本に増やし、フレットの数を増やすなどの改良を加えることによって、楽器自体の表現力を飛躍的に拡大し、さらに正統的な古典音楽の奏法に加えて、独自に編み出した新奏法をふんだんに取り入れることによって、民族楽器としてのサントゥールを古典音楽の代表にまで高めてしまったのである。しかも古典の世界にとどまることなく、絶え間ない研鑽によって清新な息吹を吹き込んだ彼特有の華麗なスタイルは、今、最高の人気を誇る所以である。
1955年にボンベイでデビューして以来、インドをはじめアメリカ、ヨーロッパ各地に招かれて演奏を重ねる。1968年にはアルバム「Call of the Valley」でインド・グラモフォンのプラチナ・ディスクを受賞。世界中にその名が広く知られるところとなる。その他、サンギート・ナタック・アカデミー賞をはじめ国際的な数々の賞を受賞。
世界各地でホールを揺るがさんばかりの聴衆のどよめきを巻き起こした彼の数々のコンサートはもはや伝説的なものとなり、まさに天才の名に恥じることのない名演奏家である。