А кратность там какая при этой мощности?

Нужно проверять в связке кратность + мощность, а не по отдельности.
A=Кном/Красч*( (R2+Rном)^2+(X2+Xном)^2)^0.5 / ( (R2+Rнагр)^2+(X2+Xнагр)^2)^0.5,

должно быть А>1 при КЗ.

Мощность отдельно это параметр ТТ для измерения, потому что под большие мощности делают витковую коррекцию (недомотку витков) с таким расчетом, чтобы Ктт был чуть меньше чем нужно  (допустим 999/1 вместо 1000/1), и тогда вторичный ток становится чуть больше

Скажем при первичном токе 1000 А будет вторичный 1.001 А. Часть этого вторичного тока идет в нагрузку, часть - в ветвь намагничивания, и количество недомотанных витков подбирают так, чтобы в ветвь намагничнивания ушло 0.001 А и итоге в нагрузку пришел бы ровно 1А.
Для того, чтобы такая схема работала, обмотки учета и измерения догружают резисторами до номинала.
Поэтому ТТ для учета и измерения выбирают ровно по мощности, чтобы витковая коррекция работала правильно.

Но у вас ТТ для РЗА, и проверять его надо как ТТ для РЗА, то есть по кривой предельной кратности ставить вашу нагрузку Zнагр, смотреть какая при ней кратность К(Zнагр), и затем проверять чтобы К(Zнагр)>Красч.

Критерий A=Кном/Красч*( (R2+Rном)^2+(X2+Xном)^2)^0.5 / ( (R2+Rнагр)^2+(X2+Xнагр)^2)^0.5 можно перечитать взяв Хнагр=Хном, Rнагр=Rном как
А=Кном(Zнагр)/Красч, А>1 означает К(Zнагр)>Красч.

Zном=Sном/I2ном^2
Rном=Zном*0.8, Хном=Zном*0.6 (cosФном=0.8)

То есть если у вас есть Кном, Sном, R2, Х2 от производителя то делайте расчет с коэффициентом А. Если есть кривая предельной кратности то можно по ней.

А ток КЗ какой?

Что мешает взять Ктт для релейной обмотки не 100/5 а побольше?
Я бы взял не меньше 300/5...600/5.

Данных по токам КЗ у меня нет. Возможно, удастся их получить, но не факт. Номинальный ток линии в данном случае чуть менее 80А, поэтому выбран такой трансформатор тока. У этого ТТ 2 вторичные обмотки - измерительная и защитная. Можете объяснить, почему 300–600/5 лучше в данном случае? Я предварительно исходил из того, что номинальный ток линии <80 А.

Да, похоже, что предельную кратность да и мощность вторичной обмотки для защиты нужно увеличивать в моём случае. Нужно дождаться кривых предельной кратности. Надеюсь, я смогу по ним понять, почему выбранный ТТ не подходит в моём случае.