Fundado em 1898, a equipe disputou sua primeira partida apenas em setembro de 1899. Apenas na temporada 1926-27 a equipe conseguiu a promoção à Primeira Divisão do Campeonato Inglês, após ficar com o vice-campeonato da Segunda Divisão.
O clube permaneceu de forma ininterrupta na Primeira Divisão até a temporada 1958-59. Apesar disso, os primeiros campeonatos foram muito complicados para a equipe. Apesar das dificuldades encontradas no campeonato, terminando as duas primeiras temporadas na 20ª colocação entre 22 equipes, o Portsmouth alcançou a final da Copa da Inglaterra em 1929 e 1934, perdendo para Bolton e Manchester City respectivamente.
Depois de evitar o rebaixamento nas primeiras temporadas, o Portsmouth se firmou no campeonato, alternando boas campanhas com posições intermediárias na tabela. Em 1938-39 a equipe chegou pela terceira vez a final da Copa da Inglaterra. Desta vez a equipe conseguiu a vitória, sobre o Wolverhamton Wanderes, pelo expressivo placar de 4-1.
No pós-guerra a equipe conseguiu seus dois títulos da Primeira Divisão, nas temporadas 1948-49 e 1949-50. Contudo, após o quarto lugar na temporada 1951-52 e o terceiro lugar em 1954-55 os resultados da equipe caíram muito, o que culminou com o rebaixamento, em 1958-59.
Em 1956 a equipe disputou o primeio jogo do campeonato inglês com iluminação artificial, contra o Newcastle United.
Após o rebaixamento a equipe não conseguiu se firmar na Segunda Divisão e acabou rebaixada a Terceira Divisão, ao fim da temporada 1960-61, sendo o primeiro clube campeão a ser rebaixado a tal nível. Contudo a equipe conseguiu a imediata promoção com o título da Terceira Divisão, e com o treinador George Smith, se firmou como uma força intermediária da Segunda Divisão.
Após a saída de Smith, em 1972, a equipe não conseguiu manter o nível e acabou novamente rebaixada para a Terceira Divisão, em 1975-76. A situação financeira da equipe era muito ruim, e entre ameaças de falência e ajuda dos torcedores para evitar a quebra da equipe, o Portsmouth acabou sendo rebaixado para a Quarta Divisão, em 1977-78.
Duas temporadas depois a equipe retornou a Terceira Divisão, que venceu na temporada 1982-83 para retornar a Segunda Divisão. A primeira temporada no retorno não foi boa, mas nas 2 temporadas seguintes a equipe terminou em 4º lugar, perdendo o acesso a Primeira Divisão. Finalmente em 1986-87 a equipe retornou a Primeira Divisão, depois de 28 temporadas de ausência. Entretanto, novamente enfrentando problemas financeiros, foram novamente rebaixados.
Seguiram-se mais 15 temporadas na Segunda Divisão. Em 1992-93 o Portsmouth perdeu a promoção ao terminar com 1 gol a menos que o West Ham. O Portsmouth passsou a maioria dos anos 1990 longe dos primeiros lugares da Segunda Divisão. Na temporada do centenário do clube a equipe evitou por pouco o rebaixamento. Em 2000-01 a equipe só evitou o rebaixamento devido a derrota do Huddersfield na última rodada. Inúmeros treinadores passaram pela equipe sem conseguir livrar o Porstmouth da parte de baixo da tabela da Segunda Divisão.
A sorte da equipe mudou drasticamente com a escolha de Harry Redknapp para Diretor de Futebol. Na sua primeira temporada completa como treinador ele levou a equipe ao título da Segunda Divisão.
No retorno a Primeira Divisão, e na sua primeira temporada na Premier League, a equipe conseguiu um honroso 13º lugar, tendo uma boa campanha jogando em Fratton Park. Campanhas para se livrar do rebaixamento seguiram, até o bom 9º lugar na temporada 2006-07, no retorno de Redknapp, que saira devido a problemas com o dono da equipe.
Na temporada 2007-08 a equipe retornou a final da Copa da Inglaterra, após vencer o Manchester United nas quartas de final e o West Bromwich nas semifinais. A final, disputada no Novo Wembley, foi vencida por 1-0 sobre o Cardiff City. Além de levantar o troféu da competição depois de 69 anos, o Porstmouth conseguiu sua primeira classificação na história para uma competição européia, a Copa Uefa.
O Portsmouth manda seus jogos no Fratton Park desde sua fundação. A capacidade é de 20.688 torcedores, o menor estádio de equipes que disputam a Premier League. Planos para melhorias e construção de um novo estádio estão em discussão há algum tempo.
O maior público do estádio aconteceu em uma partida contra o Derby pela Copa da Inglaterra, em 1949: 51.358 pessoas estiveram presentes no estádio.
Os grandes rivais do Portsmouth são o Southampton FC e o Plymouth Argyle FC.
A rivalidade com o Southampton advém mais pelo motivo de serem cidades vizinhas, já que as equipes estiveram poucas vezes na mesma divisão. Como exemplo, nas últimas 3 décadas as equipes só estiveram em 3 temporadas na mesma divisão.
1 e13 – (a camisa de número 1 apenas na temporada 2001-02) em reconhecimento ao goleiro Aaron Flahavan. Flahavan morreu em um acidente de carro, em 21 de Agosto de 2001, dias após ter sido usado a camisa de número 1 pela primeira vez. No entanto, a camisa número 13 está reservada em relação a ele, uma vez que este foi o número que ele usou na maioria da sua permanência no clube. Entretanto, ela será novamente utliizada, desta vez pelo finlandês Antti Niemi, que desistiu de sua aposentadoria.
12 – em reconhecimento aos torcedores do Portsmouth.
Nacionais Campeonato Inglês: 2
(1948-49 e 1949-50) Segunda Divisão Inglesa: 1
(2002–03) Terceira Divisão Inglesa: 3
(1923-24, 1961-62 e 1982-83) Copa da Inglaterra: 2
(1939 e 2008) Supercopa da Inglaterra: 1
(1949*)