Такая характристика получается если нет смещения вообще..., т.е. сравниваются толькко модули ЭДС напряжения и тока, тогда получается чистая окружность.
Смещение характеристики задаётся, если до получения модуля одной из ЭДС с определёнными  коэффициентами суммируются ток и напряжение. Направление смещения, кромее того задаётся относительным фазным углом между этими напряжением и током.
Если, такого нет, то проверьте цепи суммирования. Если на всех одно  и тоже, то получается оно просто выведено, посмотрите наклаадки...

Цепь резистора R14 посмотрите (его номинал, возможный обрыв), в режиме смещения "назад" именно он определяет его величину, в "нормальном" режиме он зашунтирован накладкой. Вот кстати, если ХВ1 в положение "б-в" (смещение выведено) установить, что получится?

Согласен с коллегой ПАУтина, окружность с центром в начале координат - это характеристика реле полного сопротивления, и получить её можно (если нужно) исключив ЕДС от тока в тормозном контуре. В  рабочем - ЕДС от тока, в тормозном - ЕДС только от напряжения, от ТН, от трансреактора - нет. Как это может получиться... сам контур (тормозной) я думаю, без обрыва, иначе торможения вообще не было бы, и это вы проверяли. Думаю, дело в обрыве (нарушении контакта) выводов от самого трансреактора, той обмотки, что включена в тормозной контур. Мы когда-то "делали" такое реле полного сопротивления из КРС-2, чтобы получить ненаправленную ДЗ на секционном выключателе. Кажется, до сих пор работает :)
  Но это должно было выявиться при выравнивании сопротивлений контуров, "тормозной ток от тока", при подаче тока. Ничего необычного, всё нормально? Или не проверяли, т.к. уставками задано смещение характеристики в III квадрант?   В пособии Таубеса (красном ещё), на с.105 внизу написано, что при заданном смещении проверка эта не обязательна, но полезна. Как раз ваш случай.

Именно руководствуясь Удрисом и не проверяли выравнивали контура.

а вообще есть полезные главы, вот только не помню у кого Чернобровов или Федосеева
математические операции (афинные перобразования ...) для задания характеристик дистанционных органов.
1. масштабирование или увеличение или уменьшение характеристики ДО  - умножение напряжения или деление тока на коэффициент.
2. поворот характеристики - изменение угла между током и напряжением (поворот фазы)
3. смещение центра из начала координат...
просто там объясняется как это можно просто сделать путём измененния входных напряжений и токов.

Всем принявшим участие в обсуждении большое спасибо! Особенно релейщикам ПАУтине и Nkulesh. Благодаря им стали копать именно в сторону трансреактора. Теперь понятно что именно сломалось. Но в итоге заменил среднее реле контура ВС.  Были все 92-го года. Теперь среднее 87-го. На нем еще вместо герконового реле стоит электромеханическое выходное. Поснимал характеристики и руками и автоматически со всех трех контуров - нормально. На мертвом реле можно будет когда-нибудь заменить трансреактор. Мотать его обмотку, как я понял нереально. Там какие-то строгие требования к зазором в магнитопроводе.

Остался еще один немаловажный вопрос. Четвертая ступень тзнп если направленная с разрешающим реле, то согласно удрису нужно ставить перемычку 53-54 на панели, что задействует цепочку замыкающего контакта повторителя выносного (блокирующего) реле. Тем самым 4-я ступень не сработает никогда при мощности в линию… поправьте если я не прав. У меня ощущение, что опечатка в Удрисе. Прикладываю страницу из книги с режимными перемычками.

Там на мой взгляд просто перепутано, что с чем перемыкать когда разрешающее и когда блокирующее. Это выносное реле ведь сработает лишь при КЗ за спиной

ответ не мне, но всё же
Если брать только напряжение и ток и сравнивать их модули, то получим уравнение типа ]U[/]I[ = ]Z[, т.е. график окружности в декартовых координатах вида (R)^2 + (jX)^2 = Z^2,
а если будет 
]U + kI[/]I[ = ]Z[, то
(R+Ro)^2 + (jX+jXo)^2 = (Z+Zo)^2
окружность со смещением (Ro-jXo).
не нужно путать теорию геометрии и техническую реализацию  ... не помню для каких-то реле сопротивления вообще  нельзя или очень сложно было получить окружность с центром координат, она вся входила например в I-й квадрант, и наоборот нужно было её хоть как-то "центрировать"...
Просто всё когда-то проделал на микроэлектронных элементах на основе ОУ, сам разрабатывал, считал, паял и испытывал дистанционные органы. Напрмиер, выведена погрешность ДО на ОУ, расчитано на какие диапазоны ДО на ОУ с допустимой погрешностью ...

1. 250 гр это в линию
2. В панели нет режимных перемычек для выбора направления реле мощности, просто меняется подключение цепей на клеммнике
3. Поэтому если РМ включено как разрешающее, т.е. работает при КЗ на ВЛ, то ставим перемычку 53-54 и ступень работает когда сработает РМ
4. Если РМ включено как блокирующее, т.е. не работает при КЗ на ВЛ, то ставим перемычку 54-55 и ступень работает когда РМ не сработает