Die Gründungsgeschichte von IBM ist untrennbar mit dem deutschen Emigranten Hermann Hollerith verbunden, einem 1860 in Buffalo (New York) geborenen Ingenieur. Er erfindet 1884 eine Maschine mit der große Datenmengen erstmals auf mechanischem Wege erfasst und ausgewertet werden können. Als Assistent im Amt für Volkszählung tüftelt er an einer Methode, die langwierigen und aufwändigen Volkszählungen, die in Amerika regelmässig durchgeführt werden, effizienter zu gestalten. Seine Idee ist es, für die Datenerfassung eine Lochkarte zu verwenden, anstatt der bisherigen Karten, auf denen man bestimme Felder ankreuzte. Mit der Lochkartentechnologie lässt sich die Datenerfassung sehr viel schneller durchführen, als mit der bis dahin verwendeten Methode. Zum Einsatz kommt die Hollerith-Maschine erstmals bei der elften amerikanischen Volkszählung 1890. Die Daten von 65 Millionen US-Bürgern können mit Hilfe von 43-Hollerith-Maschinen innerhalb von nur 4 Wochen erhoben werden. Dies bedeutet eine enorme Zeitersparnis gegenüber den bisher eingesetzen Verfahren. Erst 1920 setzt auch Deutschland die erste Hollerith-Maschine zur Volkszählung ein. Im Jahr 1896 ruft Hermann Hollerith seine “Tabulating Machine Company” ins Leben. Hollerith, als Unternehmer nicht erfolgreich, muss seine Patente im Jahre 1911 an den Multiunternehmer Charles R. Flint verkaufen, wodurch Holleriths Firma in dessen Firma Computing Tabulating Recording Company (CTR) aufgeht.
Thomas J. Watson1914 ernennt Flint den 40 jährigen Thomas J. Watson (1874-1956) zum Direktor dieser Firma, aus der 1924 nach Zukäufen
und Umorganisationen die Firma IBM entsteht. Watson, der vorher eine Führungskraft bei NCR war, und seinem modernem Führungsstil (Hauptslogan Watsons: “THINK”) sowie der Lochkarte Hollerith’s war es zu verdanken, dass die IBM bald die Herrschaft über den damaligen Markt mechanischer Lochkarten-Maschinen erlangte. Sie war die Grundlage für die spätere Vormachtstellung in der Computerbranche. In den ersten 4 Jahren unter Watsons Führung verdoppelte IBM seinen Gewinn auf ca. 2 Mio. $.
Als 1929 die große Wirtschaftskrise begann und die ganze US-Wirtschaft vor sich hin siechte, machte IBM noch Gewinne und zahlte seinen Aktioären 5% Dividende aus. Die Fertigung ließ man weiterlaufen und legte die Teile auf Halde. 1931 wird die IBM 600 entwickelt, eine Multiplikationsmaschine auf Lochkartenbasis, 1934 das Nachfolgemodell 601, die mit einer Schalttafel programmiert werden konnte. Die erste elektrische Schreibmaschine folgt 1935 (IBM produzierte Schreibmaschinen bis 1990). Im gleichen Jahr erläßt die US-Regierung auch das Sozialversicherungsgesetz. Dafür wird eine aktuelle Beschäftigungsstatistik für 26 Mio. Menschen benötigt. IBM erhält einen entsprechenden Auftrag und führt die Statistik so gut durch, das bald weitere Regierungsaufträge folgen.
Im Jahr 1944 dann ein weiterer Meilenstein in der IBM Geschichte (und natürlich für die gesamte Entwicklung der Branche): der IBM ASCC. Der ASCC (Automatic Sequence Controlled Calculator) war ein riesiger, lochstreifengesteuerter Rechnenautomat, der aus 700.000 Einzelteilen bestand. Über elektromechanische Relais konnten die 4 Grundrechenarten durchgeführt werden. 1948 folgte dann der SSEC (Selective Sequence Electronic Calculator), der bereits viele rein elektronische Bauteile enthielt und es als erster Computer überhaupt erlaubte, gespeicherte Programme zu modifizieren.
1953 begann für IBM mit dem Modell 701 die EDV. Die 701 war IBM’s erste elektronische Datenverarbeitungssystem und zudem als erster Computer mit einem Magnetband als Speichermedium ausgestattet. Das System schaffte 2200 Multiplikationen in der Sekunde und war einer der ersten seriengefertigten Rechner überhaupt. 1956 stellte IBM dann zum ersten Mal so was ähnliches wie eine Festplatte her. Die RAMAC (Random Access Method for Accounting and Control), die auf 50 Magnetplatten bereits 5 MB Daten im Direktzugriff speichern und lesen konnte. In diesem Jahr übergibt Watson – mittlerweile 82 Jahre alt – die Geschäftsleitung an seinen Sohn Thomas und stirbt 6 Wochen später.
1957 folgt die IBM 704, erstmals mit einem Fortran Compiler ausgestattet. Fortran war die Programmiersprache, die im wissenschaftlich/technischen Bereich bevorzugt wurde. Im folgenden Jahr entwickelt IBM eine Produktionsstraße zur Transistor-Herstellung, auf der stündlich 1800 Transistoren gebaut und überprüft werden können. Man wußte bei IBM, das Transistoren bis zu 200 mal schneller sind als Vakuumröhren, zudem billiger in Herstellung und zuverlässiger. Natürlich folgt mit der IBM 1401 auch schnell ein transistor-basierter Rechner. Mit diesem System wird auch der erste Kettendrucker ausgeliefert. Die neue Drucktechnik des Typs 1403 übertraf von der Geschwindigkeit her alle Vorgänger um das Vierfache, und das bei deutlich gestiegener Druckqualität.