Банально просто - нету гальванической развязки от USB порта. На наушники все играет отлично, но как подключаешь усилитель, начинается свистопляска в виде звуков от движения мыши, работы HDD и прочее.
Пока подставил костыль - разорвал землю и воткнул 47 Ом резистор (контроллер питается от отдельного источника питания). Шумы уменьшились на порядок. Но на будущее понял, что вытянуть из этой микры все, на что она способна, нужна гальваническая развязка, типа ADum4160.







