Вам не надо настраивать ssl на уровне призмы, если вы настраиваете ssl на уровне nginx. На nginx вы принимаете шифрованный трафик, и с него проксируете на призму (уже дешифрованный). Призма, в свою очередь, работает по обычному протоколу, но при этом напрямую не доступна извне, только через nginx.
Читайте документацию по react-scripts, для фронта он используется. Если просто тестовый сертификат сгенерировать, то запускаете HTTPS=true yarn start. Если использовать сторонний рабочий сертификат, то я лично настраиваю его на уровне nginx.
