Наверно это не корректно, не уверен, что меняется (моделируется) числом витков.

По моему РПН работает следующим образом:
Uвт = Ec^Кд = Ес^Zн/(Zн+Zc^+ZT^) =  Ec^Zн/(Zн+Zc^+ dZ^рпн+Z^п + Zв)
Кд - коэффициент деления, суть РПН держать напряжение постоянным
Uвт -  вторичное напряжение на нагрузке, по принципу РПН должно быть const,
Кд - коэффициент деления, суть РПН держать напряжение постоянным,
Ec^ - эдс системы приведённое ко вторичному,
Zн - сопротивление нагрузки
Zc^ - эквивалентное сопротивление системы приведённое ко вторичному,
dZ^рпн - регулируемая часть первичного сопротивления первичной обмотки, собственно РПН
Z^п  - не регулируемая часть первичной обмотки приведённое ко вторичной,
Zв - сопротивление вторичной обмотки.

В этой формуле могут меняться все составляющие, но сопротивление РПН будет регулироваться таким, что бы Uвт было постоянным.
Однако, постоянство Uвт может происходить при разных и даже при "противоположных" значениях составляющих, например увеличение Zв, но и увеличение Zc, а Ес вверх, тогда для сохранения Uвт сопротивление  dZ^рпн уменьшается, и наоборот .... тогда получим, что эквивалентное исходное сопротивление КЗ может быть разным и в основном будет зависеть от сопротивлением нагрузки. Тогда при РПН +12 сопротивление маленькое и ток большой, а при РПН -12 сопротвл. большое и ток меньше. 
Поэтому, модель РПН должна быть именно "трансформаторная - витковая", а не чисто математическая по Ктр, так как ток небаланса определяться не только соотношениями витков обмоток Тр, но значением тока КЗ.   
Но предложенную модель посмотрю, по пытаю как меняются сопротивления обмоток Тр.

Изначально вопрос стоял в том какую формулу 1 или 2 использовать и в каких случаях. А вы говорите о влиянии РПН на сопротивление трансформатора и напряжение сети. Да это так, но давайте не путать мух с котлетами. Вот именно из-за такого балагана на мой взгляд форум умирает. Постоянно сталкиваюсь с этим на форуме. Здесь ведь не только диванные газетчики сидят???

тему я создал не для того, чтобы ознакомится с мнением коллег, а для того, чтобы ознакомить коллег (особенно тех, кто в своей работе непосредственно занимается расчетом уставок) с правилами применения формул, предлагаемых в отечественной литературе и показать, что существуют и другие формулы. Ответ я не написал сразу поскольку думал, что может ответ и так всем известен и я написал бородатую истину. Конечно я предполагал, что ответ известен далеко не всем, но вдруг я ошибался.

Обе формулы придумал не я. Я лишь попытался показать, что при расчете нужно быть аккуратным: если берем ток ВН использовать формулу 1, если ток НН, то формулу 2.
Тем не менее модель, приведенная retriever и мой аналитический вывод формул показали, что обе формулы верны. За что ему выражаю благодарность. Предлагаю на этом закрыть эту тему и не лить лишнюю воду.

Касательно формулы:

Думаю вы перегибаете. Всем известно, что принцип работы дифзащиты основан на I-ом законе Кирхгофа (а нюансы с компенсацией фазового сдвига и нулевой последовательности - это опять же совершенно из другой оперы и к данной проблеме относятся лишь косвенно)