Deixar de usar a porta 22 (padrão) faz com que seu servidor saia do "radar" do cibercrime, e assim o número de ataques automatizados é bastante reduzido.
Desativar os logins mediante uso do usuário root também faz com que o número de ataques de força bruta seja reduzido.Dê preferência ao uso de usuários normais + comando sudo.
Incremente a segurança definindo o número máximo de tentativas de autenticação.Isto é feito através da diretiva MaxAuthTries, no arquivo de configuração do SSH.
O X11 forwarding (encaminhamento X11) permite o uso de programas instalados no servidor através de uma GUI exibida na máquina cliente.Desative se não utilizar.