Nakon oslobođena od Turaka 1689. godine u Bilaju je sagrađena manja crkva na čast sv. Leopolda, zaštitnika tadašnjeg cara. Oko 1710. godine sagrađena je nova crkva i posvećena sv. Jakovu apostolu. Današnja crkva sagrađena je 1848. godine. Srbi su je zapaliti 11.rujna 1991. godine tijekom domovinskog rata, a svete mise su se održavale u spilji pored crkve. Crkva je obnovljena 1994. godine.