Galerie vznikla v rámci rekonstrukce Betlémské kaple Jaroslavem Fragnerem v 1. pol. 50. let v přilehlém kolejním domě, pojmenování na architektovu počest je však používáno až od doby po roce 1968. Galerie se vždy specializovala na výstavy architektury a užitého umění. Výstavní síň patřila od počátku Svazu českých architektů, v porevoluční době ji spravovala nejdříve Obec českých architektů, později Nadace české architektury.

Ta je jejím majitelem dodnes, výstavní program a provoz galerie je však nezávislý. Po roce 1989 se galerie dostala do obecného povědomí především v období, kdy ji vedla Soňa Ryndová. Výstavní program zaměřila na dosud nezmapovaná období v historii české moderní architektury a monograficky se věnovala význačným osobnostem české architektury 20.stol. (př. A. Benš, J. Fragner, B. Fuchs, J. Krejcar, O. Rothmayer; I. Kroupa, R. Koucký, J. Pleskot, E. Přikryl, A. Šrámková atd.).

Rovněž představovala moderní a současnou architekturu v zahraničí. Tato tendence ještě zesílila s nástupem Dana Merty v roce 2001 na post ředitele galerie. Pravidelně zde vystavují zejména mladá studia ze zahraničí (BIG, Querkraft, FOA, Jürgen H.Mayer, Riedijk Neutelings, MVRDV, Mitchell Joachim, René van Zuuk, Bartlett School atd.), každý rok je představen progresivní český ateliér (Projektil, Kamil Mrva, Aulík Fišer architekti, DAM, Zdeněk Fránek, NEW WORK atd.) a významná osobnost české architektury (Věra a Vladimír Machoninovi, Miroslav Baše, Martin Rajniš, Emil Králíček, Martin Roubík atd.).

GJF také připravuje autorské tématické výstavy české architektury (kubismus, šetrná architektura, porevoluční Praha, nejmladší generace, sociální inkluze v evropské architektuře). V posledních letech se rovněž věnuje prezentaci české tvorby v zahraničí (Evropa, Japonsko, USA). Galerie Jaroslava Fragnera jednou z mála galerií u nás, která se kontinuálně věnuje současné architektuře, a zároveň historii architektury.