Básicamente lo que he hecho es asignar una escala inicial al objeto y luego voy calculando las distancias entre los puntos y la multiplico por la escala del objeto, de esta manera cuando alejas la cámara da la impresión de que el objeto también se aleja pero sin embargo lo que hago es disminuir o aumentar la escala. (Otra opción en lugar de cambiar la escala del objeto sería modificar la distancia respecto a la cámara).
He llegado a la conclusión de que tengo que buscar algún tipo de pegatina para usarlas como marcador, es evidente que el tener los puntos pintados a mano provoca ruido y errores al detectar los puntos.
El próximo paso será la rotación total en base a los 3 puntos.