а когда  встали в параллель с Россетями,  БТН возрос до 5-6

вполне может быть, т.к. меняются значения эквивалентов питающей системы относительно самой сети. Чем она мощней, тем сопротивление её меньше, а её напряжение меньше зависит от ТКЗ, поэтому основная энергия  сосредотачивается в трансформаторах, причём именно из-за того, что их магнитные контура ограничивают магнитный поток и происходит сильное намагничивание сердечников ...

Пишут, что берется от 3 до 7 и зависит от типа и мощности трансформатора. Но как определить этот коэффициент? ведь в справочных данных на трансформатор такого параметра нет

По моему, указывается именно диапазон по простой причине, что его значение зависит от начальных условий  включения (НУ - остаточное намагничивание) и условий самого момента включения,  поэтому и такой разброс, т.е. диапазон значений действительно зависит от марки и мощности Тр и можно наверно определиться по точнее, но это всё равно будет не одна цифра, а диапазон 3...5 или там 5...7, ну даже если и 2...4, то всё равно не точно.
Скорее нужно определять наихудшее или максимальное значение.
Ещё момент, по фазам они тоже сильно отличаются как для НУ, так и на момент включения, может именно поэтому и указывается диапазон, например при испытаниях: А - 2, В - 7, а в С - 4 и это нормально...

Если это просто линия до подстанции и Т уже от этой подстанции, то ступень, отстроенная от КЗ на шинах этой ПС будет заведомо грубее.
|-защита----|-OO----|
                  ПС

По цифрам.
Если Т двухобмоточный, то uk%~10.5%, ток КЗ за ним при питании от системы бесконечной мощности I=E/X=1/(uk/100)=9.5*Iном, в то время как БТН пусть даже 6-7 Iном.
А вот если Т с расщепленной обмоткой, то ток КЗ там =1/(1.875*uk/100)=5Iном.
То есть получается что для Т с расщепленной обмоткой эта отстройка актуальна, для двухобмоточного Т по сути перекрывается отстройкой ТО от КЗ за Т.

Также когда-то разбирал тему, вот некоторый материал в #15
Бросок тока намагничивания трансформатора 6/0,4 кВ 1600 кВА.

Как определить коэффициент броска тока намагничивания трансформатора?

Почитайте Засыпкина и Дроздова. Теория описана там, не сказать, чтоб для широкого круга, но разобраться можно. А если нужна методика, то РУ по РЗ. Вып 12 или 13Б.

Как определить коэффициент броска тока намагничивания трансформатора?

Берете методические указания конкретного производителя и смотрите, что там написано.
Обычно используют отношение 2-й гармоники к 1-й равное 0,15

Сейчас занимаюсь изучением уставок трансформатора. Появился вопрос. Как определить коэффициент броска тока намагничивания трансформатора?
Пишут, что берется от 3 до 7 и зависит от типа и мощности трансформатора. Но как определить этот коэффициент?

Смотря какая задача - если отстройка уставки срабатывания или деблокировка - то определять всегда как 7 крат, а если для какого-то пускового органа (например, распознавания включения трансфоматора), то от 3.

Реально, скорее всего, только экспериментально, или по опыту эксплуатации аналогичных трансформаторов. Зависит от конструктивных особенностей трансформатора - расположения запитываемой обмотки (внешняя или внутренняя),  конструкции (шихтовки) и материала магнитопровода.
Из паспортных данных можно предположить, что чем меньше ток холостого хода (относительно аналогов), тем больше коэффициент броска тока намагничивания.