В общем, что я смог выяснить. Как я понял нагрузка на CPU не сбалансирована, то есть общая нагрузка может быть 20-30%, но при этом одно из ядер нагружено на 70-100%, в этом случае наблюдается повышение mean до 50 и выше и как следствие тпс падает. Чистка карты от дропнутых вещей и мобов снижает нагрузку(не полностью) и все снова становится боле менее. Похоже, что нагрузка на основной поток игры идет слишком высокая.
Вопрос "Как это вправить?" до сих пор не могу решить.