Ze starych dokumentów Ogrodu wynika, że pierwsza jego część powstała w okolicy obecnego stanowiska cypryśników błotnych i zajmowała 4 ha gruntu oraz niewielki stary budynek. Ten budynek i jego następca od zawsze nazywane były Pokerówkiem. Starsi pracownicy Ogrodu opowiadali, iż to dlatego, że został on wygrany w pokera. Wieść niesie, że w 2011 roku pracujące wówczas – Magdalena Świąder i Lidia Gnatowska, spotkały się z Wojciechem Fangorem, mieszkającym dawniej w majątku Janówek, który opowiedział im taką oto historię:
– Gronówek (budynek przy ulicy Prawdziwka) był nasz, a Pokerowo za stawami, należało do innych ludzi, których właściwie myśmy nie znali, a Kowarski (prof. F. Sz. Kowarski, malarz, rzeźbiarz, pedagog), który przed powstaniem wyjechał do Skierniewic, a ja do Rabki, po wyzwoleniu wynajął ten dom i on nazwał to Pokerowo. W zimie, w czasie wojny, jak mieszkaliśmy z Kowarskim w Janówku, to była nuda i graliśmy w pokera za małe pieniądze. I jak on był przegrany, to grał do rana, żeby się odegrać, ale jak wygrał, to był zmęczony i szedł spać.
Zaczątkiem struktury organizacyjnej Ogrodu Botanicznego była Pracownia Zasobów Genowych Roślin Uprawnych w Zakładzie Genetyki Roślin Polskiej Akademii Nauk, która miała siedzibę w Skierniewicach. Zanim pracownia na stałe zadomowiła się w Powsinie, pracownicy naukowi w soboty przyjeżdżali na seminaria, które odbywały się właśnie w „Starym Pokerówku”. Budynek wówczas nie był skanalizowany, więc wyznaczano dyżurnego, którego zadaniem było przynoszenie wody ze studni i robienie kolegom herbaty. Studnia znajdowała się na podwórku obok budynku.
