Sim, você só precisa instalar o pacote php-cli
e executar seus scripts com o comando:
:~$ php <nome-do-arquivo>
Ou incluir na primeira linha do seu script:
#!/usr/bin/env php
Se quiser executar o PHP em modo interativo, a opção é:
:~$ php -a
Se quiser um servidor para testar seus sites em PHP:
:~$ php -S <ip ou localhost>:<porta>
Isso fará com que os arquivos na pasta onde você executou o comando estejam disponíveis no seu navegador na URL: <ip ou localhost>:<porta>
.