Первые его опыты по использованию телевизионного экрана для игр относятся к 1966 году. Заручившись поддержкой двух инженеров и получив на эксперимент 2500 долларов (сегодня это около 19 000), Баер за два года создал «Коричневую коробку» — первую в мире консольную систему для видеоигр.
Своё название она получила в честь того, что её внешнее покрытие было сделано под шпон. На протяжении четырёх лет Баер не мог найти фирму, которая взялась бы продвинуть этот необычный товар на рынок. Это получилось лишь в 1972 году, когда Баер модифицировал свою «Коричневую коробку» — эта консоль получила имя Magnavox Odyssey.
Всего этих приставок в мире было продано около 330 тысяч штук. Ныне одна из первых «Коричневых коробок» хранится в Смитсоновском институте.