In generale è meglio usare plugin solo se necessari. Migliorare l'efficienza del sito è un operazione che si può effettuare quando lo stesso raggiunge diverse centinaia di migliaia di visitatori, prima non è necessario in quanto è già ottimizzato.
Per quanto riguarda la sicurezza, meno plugin si hanno meglio è (la superficie di attacco è minore). Assicurati semplicemente di mantenere il tutto aggiornato, e di non installare temi o plugin di dubbia provenienza, o non aggiornati da diversi mesi.