El 28 de julio de 1904, un grupo de 96 empleados del Ferrocarril del Oeste se reunió en la oficina de cargas de la empresa para fundar una entidad destinada a fomentar la práctica deportiva y la vida social entre sus trabajadores. Así nació Ferro Carril Oeste, una institución que con el paso de las décadas se convertiría en una de las más representativas del barrio de Caballito y del deporte argentino.
El acta fundacional estableció ese objetivo y designó a las primeras autoridades del club, presididas por W. G. Beeston. Gracias al aporte económico de sus socios, pocos meses después la institución adquirió los terrenos donde actualmente funcionan su sede social y el estadio Ricardo Etcheverri, inaugurado el 2 de enero de 1905 y reconocido como el estadio más antiguo de la Ciudad de Buenos Aires que continúa en actividad. Ese mismo año se afilió a la Asociación del Fútbol Argentino y dos años más tarde disputó su primer encuentro oficial frente a River Plate.
El crecimiento deportivo no tardó en llegar. En 1912 obtuvo el campeonato de la División Intermedia y logró el ascenso a Primera División. Entre 1912 y 1913 también conquistó en dos oportunidades la Copa Competencia Adolfo Bullrich. Durante la década de 1920 comenzó a consolidarse la rivalidad con Vélez Sarsfield, conocida como el Clásico del Oeste, uno de los tradicionales enfrentamientos del fútbol porteño. Lamentablemente, hace un cuarto de siglo que el partido no se juega.
Cuando el fútbol argentino abandonó definitivamente el amateurismo, en 1931, Ferro integró el grupo de clubes fundadores del nuevo campeonato profesional. Eran tiempos de consolidación para un fútbol que venía de ser subcampeón olímpíco y mundial y que ya contaba con varios trofeos sudamericanos.
En esos años también sobresalió la delantera conocida como "Los Cinco Mosqueteros", integrada por Bernardo Gandulla, Juan José Maril, Luis Borgnia, Raúl Emeal y Jaime Sarlanga, que protagonizó una de las campañas más recordadas de la década de 1930.Las décadas siguientes estuvieron marcadas por una alternancia entre ascensos y descensos.

En 1966 llegó Santiago Leyden, el presidente más importante de la historia del club. Durante su gestión, Ferro alcanzó su etapa de mayor crecimiento institucional. A fines de la década de 1970 se puso el buzo de entrenador Carlos Timoteo Griguol, quien condujo uno de los procesos deportivos más importantes de la historia de la institución.

La etapa de mayor éxito futbolístico llegó durante la década de 1980. En 1981 Ferro finalizó como subcampeón de los torneos Metropolitano y Nacional. Ese mismo año, el arquero Carlos Barisio estableció el récord de 1.075 minutos sin recibir goles, una marca que continúa vigente en el fútbol argentino.
Al año siguiente el club obtuvo el primer campeonato de Primera División de su historia y repitió la consagración en 1984. Aquellos equipos dirigidos por Carlos Timoteo Griguol contaron con futbolistas como Carlos Barisio, Gerónimo Saccardi, Oscar Garré, Jorge Brandoni, Adolfino Cañete y Alberto Márcico.
Más allá del fútbol, durante esos años Ferro también obtuvo resultados destacados en básquet, atletismo, natación y vóley. El Gráfico lo reflejó con una nota histórica: "Ferro, primero en todo". En 1988 la UNESCO distinguió a la institución como Club Modelo, reconocimiento que coincidió con una masa societaria superior a los 50.000 asociados.
El panorama cambió en los años 90. Los problemas deportivos e institucionales desembocaron en el descenso al Nacional B -actual Primera Nacional- en el año 2000 y, dos años después, en la declaración de quiebra.
La recuperación comenzó en la década siguiente con la salida del proceso de quebranto y una serie de obras destinadas a modernizar las instalaciones, entre ellas la construcción de tribunas de cemento en el estadio, la ampliación del polideportivo y la mejora de distintos espacios deportivos. El club creció en los últimos años, pero los hinchas esperan una sola cosa: volver a Primera División.