Любовница или любовник - это следствие, т.е. вторично. А должна быть первопричина, по которой появляется вторичность.

Да и вообще - встречаться и даже любить друг друга до совместной (семейной) жизни одно, а жить в семье (пусть даже с любимым(ой) - совершенно другое.