一概には言えませんが、
農道が建築基準法の道路として認定されていることもあります。

農道として造られた道でも、周辺が宅地化されていけば
道路法上の道路として認定をされることもあります。

大村市でも農道が建築基準法上の42条2項道路として
一般に供されたものもあります。

農道の場合は、幅員4mに満たないケースも多く
その場合は2項道路ですのでセットバックして
家を建築することになります。

畑や田んぼの中を通る農道などは、道路の横に水源として
川が併設されていたりすると、どこを中央として2mセットバックするか
不明なケースがあります。

道路の反対側が川や崖の場合は、反対側がセットバックできないため
セットバックの基準点が変わってきますので注意が必要です。