Det var høy temperatur i Stortingssalen denne sommerdagen i 1890. Hertzberg satt på sin faste plass og fulgte debatten. Han irriterte seg over motstandernes retorikk om at kvinnen så vel som mannen, er et menneske, og at Hertzberg og hans meningsfeller måtte erkjenne denne enkle sannheten.
«Sagen er nemlig den,» sa han da det var hans tur på talerstolen, «at hvis man vil meddele Kvinden Stemmeret, saa vil dette saa langt fra være i Samfundets Interesse, at det efter min bedste Overbevisning vil være et stort Tab og en stor Skade just for Samfundet som saadant.»
Hertzberg skuet utover mennene som fylte salen, og møtte anerkjennende blikk. Han fortsatte med å slå fast at det ville føre til forvirring i samfunnet om man nå skulle bytte om på arbeidet som lå naturlig hos kvinnen og hos mannen. Det ergret ham at motstanderne kunne framstille seg selv som mer moralske enn ham.
«Ja, jeg mener mig endogsaa at være i Besiddelse af en større Ridderlighed enn disse Herrer, fordi jeg vil spare vore Kvinder fra en av Livets haardeste Konflikter,» sa han bestemt.