Resumo:
Eu sempre defino 4GB de swap. Comecei a usar com 1GB de ram e nunca mais mudei. Comigo, sempre funcionou. Nunca tive dores de cabeça com isso.
História:
Swap é meio complicado porque mudou conforme o tempo. Isso se dá porque, na verdade, não existe uma regra mas sim uma convenção.
Na época que os computadores tinham muito pouca memória como, por exemplo, de 4MB até uns 512Mb, mais ou menos, era de senso comum definir o dobro de tamanho da RAM como swap. Eu não vivi esta época mas, tudo indica que não era o suficiente. Suspeito que é por causa disso que você pode ter mais de uma swap ativa, e definir prioridade entre elas.
Depois de um tempo, começou-se a deixar esse valor fixo. Normalmente entre 2GB e 4GB mas também não era regra. Suspeito que aconteceu quando os computadores começaram a ter, no mínimo, 1GB de RAM.
Agora que é comum ter 16GB de RAM, vejo que muitos optaram por não ter swap ou ter uma desativada, usando em casos extremos.
Achei uma documentação, meio defasada, sobre o assunto no The Linux Documentation Project, que fala que, na época, usava-se 1 para 1, por exemplo, 512MB de RAM para 512MB de Swap.