बिस्मिल्ला खाँ का जन्म बिहारी मुस्लिम परिवार में पैगम्बर खाँ और मिट्ठन बाई के यहाँ बिहार के डुमराँव के ठठेरी बाजार के एक किराए के मकान में हुआ था। उनके बचपन का नाम क़मरुद्दीन था। वे अपने माता-पिता की दूसरी सन्तान थे।: चूँकि उनके बड़े भाई का नाम शमशुद्दीन था अत: उनके दादा रसूल बख्श ने कहा-"बिस्मिल्लाह!" जिसका मतलबक़मरुद्दीनमतलब था "अच्छी शुरुआत! या श्रीगणेश" अत: घर वालों ने यही नाम रख दिया। और आगे चलकर वे "बिस्मिल्ला खाँ" के नाम से मशहूर हुए। |उनके खानदान के लोग दरवारी राग बजाने में माहिर थे जो बिहार की [[भोजपुर|भोजपुर रियासत]] में अपने संगीत का हुनर दिखाने के लिये अक्सर जाया करते थे। उनके पिता बिहार की डुमराँव रियासत के महाराजा केशव प्रसाद सिंह के दरवार में शहनाई बजाया करते थे। 6 साल की उम्र में बिस्मिल्ला खाँ अपने बाप के साथ [[बनारस]] आ गये। वहाँ उन्होंने अपने चाचा अली बख्श 'विलायती' से शहनाई बजाना सीखा। उनके उस्ताद चाचा 'विलायती' [[विश्वनाथ मन्दिर]] में स्थायी रूप से शहनाई-वादन का काम करते थे।