Обычно уставки диф.защит трансформаторов задаются в относительных единицах, приведенных к номинальным параметрам защищаемых трансформаторов, т.е. In - это номинальный ток трансформатора во вторичных величинах, с учетом возможной, но маловероятной сборки токовых цепей в треугольник, что требует учета коэф.схемы равной 1,732

Эти вторичные номинальные токи, соответствующие протеканию через него  номинальной мощности, сейчас чаще всего называют базовыми или базисными. Руководство на БЭМП писали те ещё писатели :)
Путь примерно такой (это для автора вопроса): вычислить первичные номинальные токи сторон тр-ра при протекании по нему номинальной мощности, затем вычислить вторичные токи с учётом фактических Ктт установленных ТТ и схемы их соединений (сейчас это чаще всего звезда или неполная звезда) - в результате получаются базовые токи сторон. Вот они и являются тем "базисом" (каждый для своей стороны тр-ра), от которого рассчитываются токи, подаваемые в терминал (повторяю, для каждой из сторон - "свои" величины тока, ведь базовые токи, скорее всего, различаются).

Скорее всего, In = 5A. Соответственно, подавать ток надо в районе 1,5А.

Обычно уставки диф.защит трансформаторов задаются в относительных единицах, приведенных к номинальным параметрам защищаемых трансформаторов, т.е. In - это номинальный ток трансформатора во вторичных величинах, с учетом возможной, но маловероятной сборки токовых цепей в треугольник, что требует учета коэф.схемы равной 1,732