Punakivenpuiston poikki kulki muinoin vanha Porslahti–Marielund-tie. Punakivenpuiston alue on ollut vuosisatoja maatalouskäytössä. Sillä on sijainnut Marielundin tilan kaksi latoa.
Ennen varsinaiseen Punakivenpuistoon saapumista voi pysähtyä ihailemaan pensasruusujen kokoelmaa, eli Rosariumia. Ruusupuiston ryhmiin on istutettu kymmeniä erilaisia pensasruusuja: suomalaisia perinneruusuja, jalostettuja lajikkeita sekä tunnistamattomia ns. löytöruusuja.
Punakivenpuistossa pääsee maalaismaiseman tunnelmaan. Puisto oli varsinainen nähtävyys Suomen puutarhaväen keskuudessa 1980–90 luvulla, koska se on ensimmäisiä puistoja, jossa kokeiltiin tehdä keto. Jo 1970-luvulla alettiin puhua luonnonniittyjen perustamisesta kaupungin viheralueille.
Vuonna 1980 Rakennusviraston itäinen viheryksikkö alkoi piiripuutarhuri Jukka Toivosen johdolla kehitellä Punakivenpuistoon erityyppisiä kukkaniittyjä. Niiden kasvillisuutta ovat mm. mäkikuisma, nokkonen, takiainen, suolaheinä, poimulehti, kumina, mesiangervo ja raita. Helsingin 4H-yhdistys oli puiston perustamisvaiheessa apuna keräten niittyjen perustamista varten sopivia siemeniä. Kasvit ja puut oli valittava tarkoin, jotta ne menestyisivät eivätkä haittaisi toistensa kasvua.
Keto ei todellakaan synny heittämällä kukkien siemeniä multaan, vaan se on pitkäaikainen prosessi. Maata piti köyhdyttää ja siemenmateriaalin tuli olla kotimaista. Kukkien siemeniä kylvettiinkin hiekkalämpäreisiin. Alkuaikana keto tarvitsi myös ihmisen apua kitkemisessä, ketokasvit eivät saaneet tuhoutua rikkaruohojen alle. Ketokasvit niitetään loppukesällä siementen varistua ja niitosjäte viedään pois, että maa pysyisi köyhänä. Siten varmistetaan runsas kukinta. Nyt risuaidan takana sijaitseva viehättävä keto on jo asettunut paikkaansa ja sitä käydään edelleenkin ihailemassa.
Kedon lisäksi puistossa on rehevämpää niittyä ja haka sekä kauniisti polveileva avo-oja, jonka varrella kasvaa kosteasta pitäviä luonnonkasveja. Puiston keskellä polkujen risteyksessä on opastaulujen ryhmä, jossa kerrotaan puiston maisematyypeistä. Puisto olisi täydellinen maalaismaisemaidylli, jos siellä olisi vielä laiduntavia lehmiä.
