Os instrumentos de fole surgiram na China, cerca de 500 anos antes de Cristo, com a invenção do Cheng. Na Antigüidade, alguns povos europeus usavam o estômago de animais, que virados do avesso e transpassados por varas de bambu produziam, geralmente, uma nota grave e única. Durante o período medieval, utilizando-se de outros materiais, os povos celtas chegaram a um instrumento bastante próximo à gaita de fole, que por sua vez, assemelha-se bastante à musete francesa, com a diferença que na última, o ar necessita ser inflado com movimento constantes na bolsa que fica sob as axilas do executante.

Ainda na Idade Média, foram criados diversos tipos de órgãos, portáteis ou não, que também tinham como princípio o fole e os teclados. Um deles, o regal, é provavelmente o instrumento que mais se assemelhe aos atuais acordeons e bandoneons.

Entre os historiadores, não há consenso sobre quem e quando teria inventado o acordeom existente hoje. Sabe-se que o austríaco Siryllus Demian patenteou em Viena, em 1829, uma espécie de brinquedo com botões e fole, que podiam ser manejados manualmente. Provavelmente é dessa idéia que o italiano Paolo Soprani, tenha partido, para criar em 1840, na cidade de Castelfidardo, o acordeom nos moldes atuais.

A falta de registros precisos e a grande ebulição científica e industrial verificada na segunda metade do século XIV não permite definir ao certo o verdadeiro pai do acordeom, mesmo por que instrumentos semelhantes, como a concertina, o bandoneon e o harmônio foram criados e aprimorados simultaneamente.