Quando tinha quatro anos, sua família se mudou para Saragoça, onde Arbeloa ingressou aos doze anos nas categorias de base do Real Zaragoza. Sete anos mais tarde, acabou ingressando nas categorias de base do Real Madrid, onde ficou até o início de 2006, quando foi contratado pelo Deportivo La Coruña por um milhões e trezentos mil euros.
Em janeiro de 2007, foi contratado pelo Liverpool, por quatro milhões de euros. Na Inglaterra, mostrou seu melhor futebol, o que garantiu sua primeira convocação para a seleção espanhola, em 2008. Atuou pela Espanha na Eurocopa de 2008 e nas Copa das Confederações de 2009.
Demonstrando bom futebol nos Reds, em 29 de julho de 2009, acabou retornando ao Real Madrid, tendo os merengues pago quatro milhões de euros, sendo firmado um contrato de cinco anos.