Fritzboxen gibt es eigentlich nur als selbstgekaufte Geräte oder über Telefon Komfort.
Wenn Du die Komfort Option (3 Rufnummern etc.) gebucht hast, und diese nur für die Fritzbox brauchst, kannst Du die Option zum Ablauf der Vertragslaufzeit kündigen, dann wird die Fritzbox gegen einen anderen Router ausgetauscht (heutuztage idR die ComfortBox).
Falls Du von einer selbstgekauften Fritzbox zurück auf ein von UM bereitgestelltes Endgerät möchtest, geht das recht einfach durch einen Anruf bei der Hotline. IdR werden dabei aber die üblichen Versandkosten fällig. Das Dir dann zugeschickte Gerät ist, je nach Tarif(-option), z.B. eine ConnectBox oder eine Fritzbox.
Eine selbstgekaufte Fritzbox kannst du wie jedes andere Endgerät beliebig tauschen (mit der Einschränkung, dass das neue Gerät nicht ein ehemaliges UM Gerät ist, wie von Leseratte beschrieben), dabei muss das neue Gerät jeweils angemeldet werden wie Du es beschreibst.
Falls Du mit einer von UM bereitgestellten Fritzbox (also mit Komfort Option) auf ein anderes Gerät wechseln willst, musst Du Dir dieses Gerät selbst kaufen (gleiche Einschränkungen wieder), es ebenfalls anmelden und die Fritzbox von UM nach der Aktivierung Deines Gerätes zurücksenden. Bitte beachte, dass Dein eigenes Endgerät die Telefonie via SIP unterstützen muss - beispielsweise können dies die üblicherweise von UM in den Umlauf gebrachten Endgeräte (wie das Ubee*) nicht! Alternativ musst Du für die Telefonie noch ein weiteres Gerät einsetzen, da gibt es neben den Fritzboxen und einigen vergleichbaren Geräten anderer Hersteller sonst eigentlich nur IP Telefone und recht teure IP-Telefonanlagen.
* Bei dem konkreten Ubee Modell weiß ich nicht, ob es das kann.