Kementerian Agama berdiri pada tanggal 3 Januari 1946 berdasarkan Penetapan Pemerintah Nomor I/SD, dengan Prof. H. M. Rasjidi, BA sebagai Menteri Agama pertama. Dalam konferensi Dinas Jawatan Agama seluruh Jawa dan Madura di Solo tanggal 17 s/d 18 Maret 1947, Menteri Agama Prof. H. M. Rasjidi, BA menerangkan bahwa sebab-sebab pemerintah mendirikan Kementerian Agama adalah untuk memenuhi maksud UUD 45 pasal 29 yang menerangkan bahwa Negara berdasarkan ke-Tuhan-an Yang Maha Esa, dan bahwa Negara menjamin kemerdekaan tiap-tiap penduduk untuk memeluk agamanya masing-masing dan beribadat menurut agama dan kepercayaannya masing-masing.
Berdasarkan Peraturan Pemerintah Nomor 33 Tahun 1949 ditetapkan perincian tugas pokok Kementerian Agama adalah sebagai berikut:
Pada tahun 1971 dikeluarkan Keputusan Menteri Agama No. 53 tahun 1971 tentang Struktur Organisasi, Tugas, Wewenang dan Tata Kerja Instansi Departemen Agama Daerah. Adapun susunannya adalah sebagai berikut:
Berdasarkan Keputusan Menteri Agama No. 373 Tahun 2002 tentang Organisasi dan Tata Kerja Kantor Wilayah Departemen Agama Propinsi dan Kantor Departemen Agama Kabupaten/Kota, Struktur Kantor Departemen Agama Kota Yogyakarta termasuk tipologi I d adalah sebagai berikut:
Berdasarkan Keputusan Menteri Agama No. 1 Tahun 2010 dan No. 373 Tahun 2002, Struktur Kantor Kementerian Agama Kota Yogyakarta termasuk tipologi I d adalah sebagai berikut:
BerdasarkanPeraturan Menteri Agama No. 10 Tahun 2010 dan No. 13 Tahun 2012, Struktur Kantor Kementerian Agama Kota Yogyakarta sebagai berikut:
Berikut ini adalah Kepala Kantor yang pernah menjabat di lingkungan Kementerian Agama Kota Yogyakarta: