1- Desinstala virtualbox

sudo su
apt-get remove --purge virtualbox
apt-get autoremove
apt-get clean

Descarga el paquete original del sitio:
http://download.virtualbox.org/virtualbox/4.2.6/virtualbox-4.2_4.2.6-828...
Si no tienes precise, puedes elegir el que necesitas de aqui:
https://www.virtualbox.org/wiki/Linux_Downloads
Instala el paquete, pulsando con el boton derecho sobre el y eligiendo instalar con gdebi.
Así lo uso desde hace tiempo en Xubuntu y actualmente en Siduction Xfce