Après le traité de ST CLAIR SUR EPTE (911) qui octroie une partie de la Haute Normandie actuelle au chef Viking ROLLON, la frontière avec la ’FRANCIE’ se dote d'innombrables mottes féodales construites en bois. Vers 927, Guillaume "Longue Epée", fils de Rollon, fait élever à Ivry, à l’extrémité Sud Est du duché, un château primitif sur la colline dominant la rivière,.

RICHARD 1er, fils de Guillaume, donne le comté d'Ivry à son demi frère RAOUL DE BAYEUX. Ce dernier laisse à sa première épouse ALBEREDE le soin de construire une tour résidence en pierre . Nous sommes en 960. Cependant cette date reste soumise à caution.
Si les protagonistes nous sont connus grâce au moine scribe DUDON de ST QUENTIN, celui ci n'avance pas de date précise.
DUDON est rattaché à l'abbaye de FECAMPS (76) , là même où résident les Ducs de Normandie. Il écrit "l'Histoire de la Normandie" et cite le nom de l'architecte qui a bâtit Ivry : LANSFRED ou LANFROY (Lamfredum architectum). Pourtant ce dernier est déjà cité pour avoir déjà construit la Tour de PITHIVIERS (45) vers 990.

On peut raisonnablement penser que la tour quadrangulaire d'origine fut construite au début de l'an 1000.
Raoul de Bayeux est signalé comme ayant le titre honorifique ‘d’évêque de Bayeux ‘ entre 967 et 1006.

RAOUL DE BAYEUX est un personnage important. Selon le chroniqueur Guillaume de JUMIEGES, il serait né en l'an 943. Sa mère serait SPROTE, la concubine de Guillaume Longue Epée, et son père Esperling, fermier général aux moulins de Pitres (27).
Au décès de Richard 1er il prend la gérance du duché de Normandie jusqu'à la majorité de son neveu Richard II.
Il mate sévèrement deux révoltes qui éclatent à la fin du Xe siècle, d'une part celle de la paysannerie et d'autre part, celle d'une partie de l'aristocratie. Contre les paysans, il emploie la manière forte en faisant couper les pieds et les mains des meneurs . Contre les nobles, il dirige une expédition qui conduit à l'arrestation du principal rebelle, Guillaume, comte d’ EXMES (Exmes : commune du département de l’Orne-61).


La légende prétend que ALBEREDE mettra à mort l'architecte LANSFRED pour qu'il ne construise un autre édifice dans la région. Mal lui en prendra !

Selon la légende, RAOUL investit le château par un souterrain et à son tour coupera la tête de sa femme ! En 1011, Il épouse en seconde noce EREMBERGE qui lui donne quatre enfants dont deux sont liés à Ivry. Son nom est encore cité quelques années plus tard. Il décède à Rouen. Le fils ainé HUGUES, hérite du site et prend également le titre honorifique d’ évêque de Bayeux de 1015 à 1043.
La fille, EMMA, épousera Osbern le Sénéchal et lui apporte en dote les terres de Breteuil et de Pacy -sur-Eure