У меня есть объяснение, но всегда интересно услышать мнение других

Я просто сопоставил несколько мест из Писания...

1. Церковь в Библии представленна невестой Христа.

Ибо я ревную о вас ревностью Божиею; потому что я обручил вас единому мужу, чтобы представить Христу чистою девою.(2 Кор. 11:2)

2. Обрученная невеста уже практически жена, так что, думаю, если она изменит своему жениху, то это можно считать прелюбодеянием. Когда человек начинает веровать во Христа и принимает крещение, то он становится частью Церкви, которая обручена с Ним. Увлекаясь мирским (тесно дружа с миром) и впадая в разные грехи, человек этот изменяет Христу (иными словами, прелюбодействует духовно). Поэтому, на мой взгляд, Апостол пишет:

Прелюбодеи и прелюбодейцы! не знаете ли, что дружба с миром есть вражда против Бога? Итак, кто хочет быть другом миру, тот становится врагом Богу. (Иак. 4:4)

3. Сам Бог всегда верен, поэтому для Него такое качество, как измена, неприемлимо.

И увидел я отверстое небо, и вот конь белый, и сидящий на нем называется Верный и Истинный, Который праведно судит и воинствует. (Откр. 19:11)

4. Наконец, в Ветхом Завете Бог неоднократно говорит через пророков о том, как Ему ненавистна измена:

И проходил Я мимо тебя, и увидел тебя, брошенную на попрание в кровях твоих, и сказал тебе: 'в кровях твоих живи!' Так, Я сказал тебе: 'в кровях твоих живи!'
Умножил тебя как полевые растения; ты выросла и стала большая, и достигла превосходной красоты: поднялись груди, и волоса у тебя выросли; но ты была нага и непокрыта.
И проходил Я мимо тебя, и увидел тебя, и вот, это было время твое, время любви; и простер Я воскрилия [риз] Моих на тебя, и покрыл наготу твою; и поклялся тебе и вступил в союз с тобою, говорит Господь Бог, --и ты стала Моею.
Омыл Я тебя водою и смыл с тебя кровь твою и помазал тебя елеем.

...И пронеслась по народам слава твоя ради красоты твоей, потому что она была вполне совершенна при том великолепном наряде, который Я возложил на тебя, говорит Господь Бог.
Но ты понадеялась на красоту твою, и, пользуясь славою твоею, стала блудить и расточала блудодейство твое на всякого мимоходящего, отдаваясь ему.
И взяла из одежд твоих, и сделала себе разноцветные высоты, и блудодействовала на них, как никогда не случится и не будет.
И взяла нарядные твои вещи из Моего золота и из Моего серебра, которые Я дал тебе, и сделала себе мужские изображения, и блудодействовала с ними.
И взяла узорчатые платья твои, и одела их ими, и ставила перед ними елей Мой и фимиам Мой,
и хлеб Мой, который Я давал тебе, пшеничную муку, и елей, и мед, которыми Я питал тебя, ты поставляла перед ними в приятное благовоние; и это было, говорит Господь Бог.
И взяла сыновей твоих и дочерей твоих, которых ты родила Мне, и приносила в жертву на снедение им. Мало ли тебе было блудодействовать?
Но ты и сыновей Моих заколала и отдавала им, проводя их [через] [огонь].

...Когда ты строила себе блудилища при начале всякой дороги и делала себе возвышения на всякой площади, ты была не как блудница, потому что отвергала подарки,
но как прелюбодейная жена, принимающая вместо своего мужа чужих.
Всем блудницам дают подарки, а ты сама давала подарки всем любовникам твоим и подкупала их, чтобы они со всех сторон приходили к тебе блудить с тобою.
У тебя в блудодеяниях твоих было противное тому, что бывает с женщинами: не за тобою гонялись, но ты давала подарки, а тебе не давали подарков; и потому ты поступала в противность другим.

...Ибо так говорит Господь Бог: Я поступлю с тобою, как поступила ты, презрев клятву нарушением союза.
Но Я вспомню союз Мой с тобою во дни юности твоей, и восстановлю с тобою вечный союз.
...Я восстановлю союз Мой с тобою, и узнаешь, что Я Господь,
для того, чтобы ты помнила и стыдилась, и чтобы вперед нельзя было тебе и рта открыть от стыда, когда Я прощу тебе все, что ты делала, говорит Господь Бог.
(Иез. 16)

Суммирую свою мысль. Апостол Иаков обращается к верующим людям, который дали клятву верности Господу, когда крестились. Он напоминает о том, что грех - нарушение этой клятвы и является духовной изменой, которая ненавистна Богу (потому что Он остается верным несмотря ни на что). Думаю, что прелюбодеяние страшнее блуда, потому что блуд может происходить между людьми, не имеющими никаких обязательств друг перед другом (более движимых похотью, чем любовью). А прелюбодеяние нарушает одну из важнейших составляющих Любви - Верность. Как невозможно женщине быть женой двух мужчин одновременно, так и верующему невозможно быть обрученным со Христом и миром одновременно.

(Все что я написал, применимо ко мне. Увы, поводов задуматься очень много )