Bağdat'ta doğmuştur. Babası mülkiye kaymakamlarından ve Bağdat'ın eski ve bilinen ailelerinden biri olan Alusizadelere mensup Arif Hikmet Bey; annesi ise yine Bağdat'ın ileri gelenlerinden Kahyazadeler'in kızı Sara Hanım'dır. Meşhur tefsir alimi Mahmud el Alusi Ahmet Haşim'in babasının dedesidir. Babasının Arabistan vilâyetlerindeki memuriyetleri sebebiyle düzensiz bir ilkokul tahsili gördü. Aynı sebepten dil olarak da sadece Arapçayı öğrendi. Annesinin ölümü üzerine 12 yaşında babasıyla birlikte İstanbul'a geldi. 1897'de Galatasaray Sultanîsi'ne yatılı olarak verildi. Hâşim'in sanat ve edebiyata ilgisi Galatasaray Sultanîsi'nde başlar. Bilinen ilk manzumesi "Leyâl-i Aşkım" 1901'de "Mecmua-i Edebiyye"de yayınlandı. Bu dönemde Muallim Naci Abdülhak Hâmid Tevfik Fikret ve Cenab Şahabeddin'in tesiri altında kaldı. Son sınıfta iken Fransız şiirini ve sembolistleri tanıdı. Bundan sonra kendi şahsiyetini gösterdi ve ilk şiirlerini kitaplarına almadı.