Ismael Silva nasceu em 1905 na cidade de Niterói, Rio de Janeiro, no bairro praieiro de Jurujuba. Seu pai se chamava Benjamim da Silva e era cozinheiro, enquanto a mãe, de nome Emília Corrêa Chaves, trabalhava como lavadeira. Quando o caçula dos cinco irmãos tinha três anos de idade, seu Benjamim faleceu e a família então se mudou para a cidade do Rio de Janeiro, onde julgaram seria mais fácil para a mãe arranjar um emprego.
Na capital fluminense, o menino residiu incialmente no pé do morro do São Carlos, com uma tia, e depois aos sete anos se mudou para o Rio Comprido, bairro vizinho ao Estácio de Sá, na região central da cidade. Naquele bairro, o menino tornou-se o melhor aluno da escola.
Começou na rua o interesse de Ismael Silva pelo samba, naquela época ainda bastante influenciado pelo maxixe. O menino, que circulava pela cidade e parava em qualquer lugar que estivesse alguém tocando um violão, compôs o seu primeiro samba, Já desisti, aos quinze anos de idade, canção que permanece inédita até hoje.
No final da adolescência, após mudar-se outras vezes de residência, o jovem foi morar na rua Estácio de Sá, nº 29, e logo começou a frequentar os bares daquele bairro, onde os malandros e os sambistas se reuniam.
E foi lá no Bar e Café Apolo do Estácio que Francisco Alves, um dos principais cantores da época, foi procurar o jovem compositor Ismael Silva, do qual ele já havia gravado um samba e que encantava seus amigos de boemia com suas composições.
Por cem mil réis, Ismael já havia vendido a Chico Alves a canção Me faz carinhos, que se tornou o primeiro sucesso do compositor em 1927. A venda havia sido intermediada pelo compositor Bide. Na sequência do encontro no bar Apolo, um novo sucesso: Amor de malandro, também comprado e gravado por Chico Alves.
Na época, a venda de sambas era prática comum entre os compositores, que quase sempre viviam em situação de pobreza. Nos dois sambas citados, Francisco Alves apareceu, na época do lançamento das faixas, como compositor. Os sucessos levaram o cantor a propor uma parceria exclusiva ao jovem Ismael, os sambas compostos por ele teriam de ser gravados somente por Francisco Alves.
O compositor aceitou a parceria e assim muitas foram as composições de Ismael Silva, algumas em parceria com Nilton Bastos, que foram gravadas e atribuídas também a Francisco Alves e, por um pedido de Ismael a Nilton Bastos também. Formou-se assim uma das mais famosas e lucrativas parcerias da música popular brasileira, o trio conhecido como “Os Bambas do Estácio”.
Em 12 de agosto de 1928, Ismael foi um dos fundadores da primeira Escola de Samba do Brasil, a Deixa Falar. A origem da agremiação remete aos encontros que os bambas daquele bairro – além do próprio Ismael, Nilton Bastos, Marçal, Brancura, Mano Edgar, Bide e Baiaco – faziam em um bar que se localizava em frente à Escola Normal.
As agremiações carnavalescas da época eram chamadas de bloco ou rancho, e o pessoal do Estácio inovou com o nome Escola de Samba, cunhado por Ismael, segundo afirmava o próprio. A ideia surgiu do fato do botequim se localizar quase em frente à Escola Normal. Se de lá saiam os professores, ali do botequim saiam os professores do samba, daí o nome Escola de Samba.
Pelas influências dos sambistas do Estácio do Sé – compositores e ritmistas – o samba se distanciou do maxixe e aproximou-se da marcha. Segundo o próprio Ismael, esta mudança facilitou o desfile do grupo, pois com aquele ritmo e melodia seria mais fácil dançar a caminhar ao mesmo tempo. Carlos Sandroni cunhou este modo de fazer samba de “Paradigma do Estácio”, estilo que se popularizaria em todo Rio de Janeiro ao longo da década de 30 e balizaria o samba a partir de então.
A principal característica do samba do Estácio era a batida do tamborim conhecida hoje como “telecoteco”. A Escola de Samba Deixa Falar desfilou a primeira vez em 1929, na Praça Onze, e depois saiu às ruas em 1930 e pela última vez em 1931. As razões pelas quais a Escola deixou de existir foram as mortes, naquele ano, de Mano Edgar e Nilton Bastos, além da mudança de Ismael para o centro do Rio. Nilton Bastos morreu vítima de tuberculose em uma roda de jogo.
Foi nessa época quando morava no centro da cidade que o grande Ismael Silva se tornou um dos parceiros mais recorrentes de Noel Rosa. Datam da década de 30, entre outras, as composições em parceria dos dois Pra me livrar do mal e Ando cismado, gravadas por Francisco Alves e também Uma jura que eu fiz, gravada por Mario Reis. Com Noel, Ismael Silva fez ainda Adeus e A razão dá-se a quem tem.
Pouco tempo após a morte do parceiro Noel Rosa, ocorrida em 1937, Ismael passou por momentos de extrema dificuldade que o fizeram ficar afastado do samba e dos amigos do Estácio. Primeiro, o sambista foi preso por atirar em outro individuo em uma discussão de bar e cumpriu dois anos de reclusão. Após sua saída da prisão, Ismael Silva passou por sérias dificuldades financeiras e ficou um tempo isolado e distante do samba e da boemia.
A volta triunfal ocorreu em 1950, quando seu samba Antonico foi gravado por Alcides Gerardi, com grande sucesso. Recuperado da crise financeira e de volta à ativa, em 1954 o sambista apresentou-se em São Paulo, ao lado de outros bambas, no Primeiro Festival da Velha Guarda, organizado pelo radialista Almirante.
No ano seguinte, apresentou ao lado de outros artistas o show O Samba nasce do coração na boate carioca Casablanca. Em 1956 lançou os seus dois primeiros discos, O samba na voz do sambista, gravadora Sinter, 1955 e Ismael canta Ismael, gravadora Mocambo, 1956.
Na década de 60, Ismael Silva fez parte do grupo de sambistas que se reunia e se apresentava no Zicartola, bar e restaurante do amigo Cartola e da esposa dele, dona Zica, além de ter participado do espetáculo O samba pede passagem, realizado no Teatro Opinião e lançado em LP pela Philips.
Na primeira Bienal do Samba, organizada pela TV Record em 1968, Ismael foi um dos sambistas homenageados. Um pouco antes, em 1966, ele havia concedido depoimento ao Museu da Imagem e Som do Rio de Janeiro, fato que se repetiu em 1968.
Foi nessa oportunidade que o sambista conheceu Ricardo Cravo Albin, que na década de 70 escreveria o espetáculo musical Se você jurar contando a trajetória do sambista Ismael Silva e da cantora Carmen Costa.
Ainda na mesma época, como desdobramento deste show, o compositor gravou mais um disco solo, que desta vez trouxe algumas músicas inéditas, além dos maiores sucessos. O LP Se você jurar foi gravado em 1973 e lançado em 1974.
Ismael Silva desfrutou da velhice de modo humilde e solitário, em uma pensão na rua Gomes Freire no centro do Rio. Morreu em março de 1978, aos setenta e três anos, vítima de um ataque cardíaco fulminante.
Seu corpo foi velado no Museu da Imagem e do Som, do Rio de Janeiro, e sepultado no Cemitério do Catumbi.