Желательно что-бы заглушка замыкала через диоды пары кабеля 1-2, 3-6, 4-5, 7-8, но это уже разводка на плате. Примени следующий алгоритм, привязку делаю к предложеной мною заглушке.
1. Порт PB0 на выход, PB1...PB7 на вход. Устанавливаешь высокий уровень, смотришь состояние остальных, если сигнал появился больше чем на одном - значит замыкание, если не появился - значит обрыв, замыкание или кроссовый кабель.
2. Порт PB1 на выход, PB0, PB2...PB7 на вход. Устанавливаешь высокий уровень, если на PB0 высокий уровень и на предыдущем тесте был высокий значит замыкание внутри пары. Если на предыдущем тесте был обрыв, значит перепутаны жилы.
3. Повторить алгоритм для остальных портов.
Вот на всякий случай схема распайки кабелей:

обрати внимание на среднюю схему, это полный кросовер, а на нижнем для 100Mb\s. А вот эта картинка поясняет предложенную мной схему заглушки

Предложенный мной алгоритм позволит сэкономить порты контроллера и применить более дешёвый mega8