Насколько он небольшой? По прикидкам, на транзисторе может теряться ватт-полтора, а то и два, и это при нормальной температуре, а при её росте тепловыделение будет также расти. Поэтому радиатор хочется как бы не меньше самой платы, со свободным обдувом.
Диод, который параллельно транзистору - если не влияет, значит можно ампутировать - пусть работает внутренний диод транзистора (всё-равно он многократно мощнее, чем несчастный FR307). А вот диод параллельно мотору.... я удивлён, что FR307 там ещё жив. Потому что импульсы тока через него равны току через мотор. А это.... понятно, да?
Не менее 15-амперного диода туда, можно посадить на тот же радиатор, что и транзистор, кстати, тепла на нём при нормальном режиме и должно быть многократно больше, чем на транзисторе (волшебное падение напряжения, а ток тот же). Вот
здесь обратите внимание, как охлаждаются транзисторы у товарища. Правда, мощность там почти на порядок больше, но и радиатор способен сдувать до 150 Ватт...
Выбросы от коллектора... не знаю, по-идее, диодов должно хватать для их устранения...
И, контрольный выстрел: а фото девайса можете показать?