AndroidのLocal Unit Test時に一部の依存ライブラリを除外したい

Android Studio の Local Unit Test でAndroidに依存しないコードのテストを書いているのですが、
テスト中のみ一部の依存ライブラリを使わないようにする設定は可能でしょうか？

build.gradle には以下のように記述しているのですが、

dependencies {
    compile 'org.slf4j:slf4j-android:1.7.20'

    testCompile 'org.slf4j:slf4j-api:1.7.20'
}

Local Unit Test中にも前者のライブラリが使われてしまうため、そこで落ちてしまいます。

なにか方法をご存じの方がいましたらご教示ください。