Vielä 1800-luvun alussa alue oli kallioista metsää, jossa harjoitettiin pienimuotoista palstaviljelyä. Puistojen tarina alkoi 1850-luvulla, kun puistomesenaatti, Kaivopuiston isä, kauppaneuvos Henrik Borgström (1799–1883) kiinnostui alueesta. Borgströmin haaveena oli perustaa vesiravintola Töölönlahden pohjukkaan. Alueelle suunniteltiin myös eläintarhaa ja siksi koko alue sai nimekseen Eläintarha.
Hanke oli niin mittava, että sitä varten perustettiin 1851 Eläintarhan puistoyhtiö. Tuolloin Eläintarhan puisto oli kaupungin puistoista suurin, ja suosittu erityisesti kävelijöiden parissa.
Ratkaiseva tapahtuma puiston historiassa oli Helsinki–Hämeenlinna rautatien rakentaminen 1858–1862. Rautatie jakoi alueen kahtia. Eläintarha- ja kylpylähanke kuivuivat kokoon, kun yhtiön osakkeet eivät menneet kaupaksi ja terveyslähdekin jäi radan alle. Kauppaneuvos Borgström rakennutti radan itäpuolelle ravintolan, jonka nimeksi hän antoi Alppila/Alphyddan. Ravintolaa ympäröivää puistoa alettiin kutsua Alppipuistoksi. Sen ympärille Borgström istutti omilla varoillaan puistokasvillisuutta ja rakennutti mm. pengerrysrakenteita.
Ravintola paloi 1875, mutta se rakennettiin uudestaan. Lopullisesti se tuhoutui tulipalossa 8.10.1951 ja nykyisin siitä on muistona vain kivijalka, joka toimii näköalatasanteena Tivolitien pohjoispuolella.
Sittemmin vuosina 1875–1907 Alppipuisto ja paviljonki olivat Suomen Puutarha-yhdistyksen hoidossa.
Kaupunki on hallinnut puistoa vuodesta 1908. Kaupunginpuutarhuri Svante Olssonin suunnitelmien mukaisesti kunnostettiin puisto ja lammikot suihkuineen ja istutuksia kohennettiin vuosien 1913 ja 1914 välisenä aikana.
Alppipuisto on tyyliltään 1900-luvun alun maisemapuisto sorsalammikoineen ja kiemurtelevine käytävineen. 30 metriä korkeat kalliot tekevät puistosta maisemallisesti upean. Puistossa on ollut jopa yksi Helsingin ensimmäisistä hyppyrimäistä. Valoisa laaksotasanne kallioiden kainalossa suorastaan houkuttelee oleiluun ja pelien pelaamiseen. Lammikon äärellä taas voi rauhoittua tarkkailemaan vaikkapa sorsien leikkiä.
Alppipuiston keskellä olevalla korkealla Vesilinnanmäellä toimi vuonna 1945 perustetun Suomen Työväen teatterin kesäteatteri ja 1940–1950 luvulla suosittu Alppilava-niminen tanssilava. Vuonna 1950 Lasten päivän säätiö perusti Linnanmäen huvipuiston ja lohkaisi puistosta 7,5 ha. Siitä lähtien Linnanmäen huvipuisto on ollut Alppipuiston suosituin käyntikohde. Tanssilavaa on aina aika ajoin haluttu palautettavaksi.
Peruskunnostusta, hoitoa ja kehittämistä
Puistossa tehtiin mittava peruskunnostus vuonna 1985. Silloin siirrettiin puiston keskellä kulkeva asvaltoitu pyörätie radan läheisyyteen. Näin saatiin sisäosaan yhtenäinen ja rauhallinen puistotila. Samassa yhteydessä poistettiin lammikoiden reunoilta panssariaidat.
Lammikoista rinteeseen saakka ulottuu yhtenäinen nurmikko, jonka päätteeksi on rakennettu maastonmuotoinen esiintymispaikka. Myös pieni soittolavaksi sopiva avopaviljonki amfiteatterin vieressä on uudistuotantoa, samoin kuin mäellä sijaitseva paviljonki. Mallit paviljongeille on otettu historiallisista kuvista.
Alppipuiston rinteessä on 80 Helsingissä asuvien japanilaisten lahjoittamaa rusokirsikkapuuta. Niiden kukinnan aikaan puito on todella elämyksellinen. Lammikon reunalla kasvaa kyynelkoivu ja erilaisia poppelilajeja on 13. Myös isot perennaistutukset ovat osa puiston kasvielämystä.
Puistoon on istutettu 2010-luvulla kokeilumielessä myös harvinaisempia kasveja, ilmastonmuutosta ajatellen. Kasviharvinaisuuksia ovat lakkipuu, japaninsiipipähkinät, amurinvaahtera, magnolia ’Wada’s Memory’, kuningasatsalea, pyökit, valkopyökit, kerrannaiskukkainen ja yksinkertainen imeläkirsikka sekä koreankuusamat ja höyhenpensaat. Puistoa on peruskorjattu kohta kerrallaan vuonna 2007 laaditun hoito- ja kehittämissuunnitelman mukaisesti. Tämä maisemallisesti ja kasvilajistoltaan yksi Helsingin viehättävimmistä puistoista on suosittu pienten konserttien ja tapahtumien pitopaikka ja piknikpuisto.