Pawlo13 , Для начало надо понимать что такое уязвимости? Какие они бывают? Что такое Бекдор и Шелл? Дальше надо, знать как влезают на сервер злоумышленники и какими программами пользуются они. Что такое порты? И как смотреть порты открытые или закрытые? Одну программу сказали выше, sqlmap - она предназначена для залезания в БД сайта и на сервер.