カーンはベルンハルト・カーンとエマ・エーバーシュタットの次男としてマンハイムで生まれた。彼の7人の兄弟の1人は裕福な投資家オットー・カーンで、その息子ロジャー・ウルフ・カーンはジャズミュージシャン、作曲家、飛行家として成功しました。彼の両親は、銀行家および商人の著名なドイツ系ユダヤ人の家族に属していました。 1882年、カーンはベルリンの音楽大学に入学し、そこでその後3年間学びました。 1885年から1886年にかけて、彼はミュンヘンでヨーゼフ・ラインベルガーのもとで音楽教育を続けた。翌年ウィーンを訪れた際、カーンは作曲家ヨハネス・ブラームスと出会い、友人となり、ブラームスはカーンを弟子にしたいと申し出た。カーンは自信を持ってその誘いを断ったが、ブラームスの音楽は彼のキャリアを通じて彼の作曲スタイルに深い影響を与えることになります。