En realidad, no es necesario que uno sea residente para poder abrir una cuenta bancaria (claro, depende de las leyes de cada Estado y el reglamento del banco).
A decir verdad, de la tasa de interés uno tiene que pagar un impuesto si se es residente. Si uno indica que no vive en el país y se llenan toda una serie de formularios, uno queda exonerado de que le retengan ese impuesto.
Tarjetas de crédito si es algo más complicado, quizás haya algún banco que lo permita. Por ejemplo, en este FAQ en el Bank of America
https://www3.bankofamerica.com/credi..._apply&lang=en
Indica que uno debe tener una residencia permanente para obtener "la mayoría" de las tarjetas de crédito que ofrecen. Lo que me hace suponer que alguna existirá que no lo requiera. Pero también es probable que ese tipo de tarjeta no sea aceptada en la mayoría de los lugares que uno quiere comprar...