A tavaly felszentelésének 100. évfordulóját ünneplő kistemplom ugyan méretben eltörpül fiatalabb társa mellett, építészetileg és történelmileg is jelentős szerepe volt, a park Csaba utcai oldali látképe pedig már elképzelhetetlen lenne nélküle.
A környéken élő katolikus híveknek köszönhetően a 20. század elején létrejött a Városmajori Katolikus Egyházközség, ami kezdetben a Csaba utca 7/B szám alatti szuterénhelyiségében, egy kis kápolnában kezdte meg működését. Az idejárók számának jelentős megemelkedésével megnőtt az igény egy templom kiépítésére, azonban ez csakis adományok segítségével jöhetett létre.
A környéken élők mindent megtettek a nemes cél érdekében, sokan saját családi relikviáikat és drága ékszereiket is eladták, hogy a befolyt összegből hozzájáruljanak az új templom megépítéséhez. Nemcsak a hívők, hanem maga az építész is segítette az összefogást: az akkorra már nagy népszerűségnek örvendő, külföldön is elismerést szerzett Árkay Aladár ugyanis ingyen vállalta a templom megtervezését és az építkezés felügyelését.
Az új épületre sokáig erdélyi kápolnaként hivatkoztak, ugyanis a tornyokkal díszített és kalotaszegi motívumokkal gazdagított templom hasonlóságot mutat pár határon túli társával. Ezek mellett, egyedi bájt kölcsönöz neki a Csaba utca felé néző homlokzat, illetve az arra nyíló kis tornác, amikkel sokkal inkább egy kis lakóház hangulatát kelti, mint egy templomét.
A környék első templomát 1923. szeptember 8-án szentelte fel Csernoch János bíboros-hercegprímás, az elkövetkező években pedig akkora sikerre tett szert, hogy rövid időn belül szükség lett egy még nagyobb épületre. A ma Nagytemplomként emlegetett épület terveit szintén Árkay Aladár kezdte el elkészíteni, majd fia, Árkay Bertalan folytatta a munkát. A főváros egyik első modern épületének is nevezett Városmajori Jézus Szíve-plébániatemplomot 1933-ban szentelték fel.
A következő években készült el a torony és az árkádsor is, ami összeköti a régi Kistemplomot az új Nagytemplommal. Miután a miséket már a Nagytemplom falai között tartották, a Kistemplomot egy közösségi térként használták, ami hitéleti és egyházzenei programokhoz szolgált helyszínül.
A második világháború alatt, 1942-ben bombatalálat érte a két épületet, ami súlyos károkat okozott, így jó néhány évig várta a ráncba szedést. A végig az egyház tulajdonában maradt épületben legközelebb 1982-ben tartottak ismét szentmisét, majd sokáig a vasárnap délelőtti gyerekmisének és az azt követő agapéknak adott otthont.
A Kistemplom felújítása a 2000-es évek elejére már halaszthatatlanná vált, teljes renoválására és helyreállítására azonban csak 2019-ben került sor, amikor is visszanyerte eredeti kinézetét és kívül-belül megszépült. A 2020. szeptember 13-án megáldott Kistemplom jelenleg is fontos központja a városmajori hívek életének és a közösségi eseményeknek.