Był synem Michaela Giełdzińskiego, polskiego kupca zbożowego żydowskiego pochodzenia. Lesser uczył się fachu  od ojca. W wieku 30 lat przybył do Gdańska i działał w spółce zbożowej z kupcem Jacobem Lövinsohnem. Około 1866 r. założył własną firmę handlową „Getreide Comiss. Geschäft”.

Lesser Giełdziński kolekcjonował niemal wszystko co odnosiło się do Gdańska. Posiadał zbiór gdańskich mebli z XVII i XVIII w., obiekty ze srebra i cyny związane z gdańskimi cechami. Był właścicielem kolekcji porcelany, obrazów, miniatur, starodruków, grafik i rysunków. Kolekcjonował także judaika.

Część swoich zbiorów przekazał miastu m.in. na wyposażenie Sieni w Dworze Artusa. Do zamku w Malborku przekazał kolekcję medali i monet, pieczęcie cechów oraz plany miast Prus Zachodnich. W 1904 r. całą kolekcję judaików ofiarował Gminie Synagogalnej w Gdańsku.

Pozostałe zbiory po śmierci Lessera Giełdzińskiego zostały wyprzedane przez synów kolekcjonera.