В коде вызывается semaphore.acquire(), затем работа с ресурсом, затем semaphore.release() в конце метода. Что здесь опасно?

Утечка разрешений — коварная ошибка: система работает, но с каждым исключением параллелизм падает на единицу, и в какой-то момент всё встаёт намертво без единой записи в логе о причине. Тот же принцип, что и с блокировками: захват — перед try, освобождение — в finally. Дополнительно стоит помнить про acquire с таймаутом (tryAcquire), чтобы не ждать разрешения бесконечно, и про то, что acquire бросает InterruptedException, а acquireUninterruptibly — нет.