А, ну если так, то да...

Вот что еще можно добавить. вторичная обмотка видимо у них все же есть, иначе как обеспечить Uk 4-5% по нулевой последовательности. Тут например http://e-m-z.ru/filtr_nulevoy_posledovatelnosti_fmzo ссылаются на ГОСТ 52719 – 2007 и указывают, что ФМЗО имеет группу соединения обмоток Yн/D–11. Другой вопрос: выведены ли выводы этой обмотки, или она укрыта в корпусе?

Полностью согласен. Отстраиваясь по Uкз, уставка получится порядка 20 Iн , так как Uкз этих ФМЗО  обычно около 5%. Кстати для этих ФМЗО есть название, раскрывающее их суть - нейтралеобразующий трансформатор. Даже если обмотки "треугольника" не выведены наружу бака, их замыкание не исключено. Отсечка 5-10 Iн будет отстроена от БТН, и при этом чувствительна к замыканию "треугольника".

В плане БТН, ФМЗО мало чем отличается от обычного ТСН.

Ну зачем же так сложно. При отсутствии ОЗЗ ток почти нулевой (не нулевой за счет потерь, не симметрии, не синусоидальности). А при ОЗЗ токи прямой и обратной последовательности равны нулю (в идеале конечно, если пренебречь потерями). Так что (как уже отмечалось выше) ток в фазах чисто нулевой (3I0/3), а 3I0 равен току реактора. Ток реактора при металлическом однофазном КЗ должен быть равен емкостному току замыкания на землю в данной сети (при условии правильной настройки автоматики).  Реально ток реактора зависит только от собственной индуктивности (определяемой положением переключателей обмотки реактора или подвижного элемента магнитопровода) и напряжения к нему приложенного (а при 1ф металлическом замыкании это ровно фазное напряжение). По этому, я считаю, в расчете стоит брать максимальный допустимый ток реактора, а фазный ток соответственно Iреактора макс/3.

Uкз  можно измерить обычным трёхфазных способом до установки в бак, на сухую, так как напряжения при этом не высокие. А можно например по приложенной схеме:
А какие преимущества даст уставка ТО  20 Iн по сравнению с 5 Iн ? Отстройка по Uкз является стандартной, когда за трансформатором есть свои защиты, здесь совершенно не тот случай.

Есть ЛАТРы которые выдают напряжение до 440 В, а нам для проверки нужно порядка 5% от фазного, то есть примерно 300В. С током сложнее. Большинство ЛАТРов  на 9-10А, реже на 25А, еще реже на 40А. Но учитывая хорошую линейность параметров трансформатора при опыте КЗ, достаточно замерить токи и напряжения которые позволяет выдать имеющийся ЛАТР, и пересчитать.