Der Arbeiter-Bildungs-Verein wurde 1863 gegründet. Einer der führenden Köpfe war damals Dr. Eduard Pfeiffer. Der erfolgreiche Bankier und Sozialreformer hat unter anderem die Württembergische Vereinsbank mit begründet. 

Genauso erfolgreich war auch sein Engagement im sozialen Bereich. Das Haus in der Heusteigstraße 45 wurde 1890 als Arbeiterheim eröffnet und bot 240 Unterkünfte, eine Volksküche, Wäscherei und einen Saal für kulturelle Veranstaltungen. Seine Vision: die Kluft zwischen Arm und Reich überwinden. 

Und bereits Ende 1919 „rotteten“ sich theaterbegeisterte Menschen in Stuttgart zusammen, zwei Jahre später wurde aus zwei Amateurtheater-Gruppen eine und sie wurde Teil des Arbeiter-Bildungs-Vereins. Mit der Gründung der „Dramatischen Abteilung“ des ABV begann 1921 die Geschichte des ABV - Zimmertheaters Stuttgart.

1930 wurde der Vereinsname „Arbeiter-Bildungs-Verein“ in „Allgemeiner Bildungs-Verein“ geändert.

Über Jahrzehnte spielte die Theatergruppe des ABV im „großen Saal“ des „Eduard-Pfeiffer-Hauses“. Da Stuttgart im Zweiten Weltkrieg zu mehr als 80 Prozent zerstört wurde, hatte der Landtag keine Bleibe mehr. Der „große Saal“ des „Eduard-Pfeiffer-Hauses“ in der Heusteigstraße 45 blieb von den Bomben verschont, und im Sommer 1947 zog der Landtag in die Räumlichkeiten. Bis 1961 diente der ehemalige, große Theatersaal des ABV als provisorischer Plenarsaal für den württembergisch-badischen und später für den baden-württembergischen Landtag.  Das Haus sah richtungsweisende Entscheidungen wie die Annahme des Grundgesetzes 1949, den Vollzug der Vereinigung der Südwestländer und die Verabschiedung der Landesverfassung 1953.

Doch dadurch wurden die Theaterfreunde zunächst heimatlos bis sich 1957 die Theaterabteilung des ABV im Untergeschoss eine neue, kleine Spielstätte baute – das heutige ABV-Zimmertheater.