传统的僜人社会是一个以男性为中心的父权制社会，男性家长在家庭中享有绝对的权威，僜人的居住习俗处处体现出僜人残留的氏族制度和家庭形态特征。
每个僜人家庭都居住在称为“恩冬”（达让话）的长屋。长屋为干栏式建筑，分上下两层，均为竹木结构。长屋的选址无固定方向，多建于较平缓的坡地上。建房时，在地基上栽立若干根粗木桩，在桩上搭起屋架，采用榫卯工艺或藤条捆扎，不用铁钉。房屋四壁用木板或细木桩作墙，屋顶为人字形，上铺茅草或薄木板为盖。早年多铺芭蕉叶。楼层的地板用木板铺设，楼上住人，楼下圈养牲畜。
长屋两端各开一门，其中一门与晒台相接，晒台旁置木梯，连接地面。从梯子登上晒台后即可进入屋内。晒台也是晾晒粮食、辣椒的地方。夏季的傍晚，晒台也是人们歇凉聊天的场所。长屋的长度不一，一般十多米，妻子多、蓄奴多的人家的房屋则相对要长，有的长达数十米。房屋低矮、狭长，除在客厅开一个四方形小孔外，一般不开窗户，室内光线很暗。
室内设施简陋，用竹片或木板沿长屋一侧分隔成若干个无门的小间“恩拜”（达让话），为长屋内各小家庭炊事、取暖和睡卧之处。各小间相对一侧，是留出的窄长通道，与进出房屋的门相接。
长屋内的各家庭，在自己居住的小间“恩拜”中，都设有自己的灶塘。设灶方法是在木板拼成的方框内，填入泥土后，镶人地板，再于上面置三块支锅石或铁三脚架。烧柴时，因有泥土与板板相隔，可以防火。过去僜人睡觉不用床，也无被褥，夜晚都是围在火塘旁在地板上和衣而卧。
在相距长屋十余米处，另建仓库存放粮食。仓库称为“阿卡”（达让话），亦为干栏式，距地约两米，用竹木搭建而成。仓库远离主屋是为了防备火灾，还可以防鼠和避免粮食潮湿。
在僜人居室的内部陈设中，男主人卧室（多并作客厅）四壁以及走廊墙壁上挂满兽骨、兽头和平时宰牛后留下的牛头骨。悬挂兽骨兽头的地方乃神圣之地，平时妇女不能坐卧于其下，否则会冒犯管兽的鬼灵，轻者打不到猎，重者会给男主人带来灾难，狩猎时会碰上灾祸。
一夫一妻家庭中，男性家长同妻儿生活在一起，构成一个基本经济单位。儿子长大成人买到妻子后，仍可继续留在父亲的家庭中，亦可在长屋内另立火塘成为一个单独的经济单位。
一夫多妻家庭，妻子们分别住在长屋内单独分出的“恩拜”中，每一设有火塘的“恩拜”便是一个单独的生产和消费单位，她们各自种植丈夫开垦后交给的土地，各有仓库存放自己的粮食，分别抚育自己的子女。男性家长对每个妻子都享有支配的权力，他可以随意到妻子那里去食宿，只需把自己的挎包挂在某个妻子那里，即表示当晚要到其屋住宿，妻子要像招待客人那样准备酒肉招待。如果丈夫又购买了新的妻子，原屋不够分配时，可在原长屋外檐续盖一间或数间，供其居住。
20世纪60年代末，僜人走出山林定居于河谷台地，在政府的帮助下修建了新的房屋。新修的房屋仍为两层的干栏式木楼，上层住人，下层圈畜。由于社会的改革和进步，僜人的多妻家庭日趋减少，反映在房屋建筑上已很少修建供多妻居住的长屋，一般一栋房屋（仍为长方形）只分隔两间或三间，一间作为客厅（可兼做主人卧室），一间或两间作卧室，为妻儿所居。在每一栋房屋旁都有庭院，四周用木板作栅防止牲畜进入。察隅县僜目前居住条件良好，近20年来国家已三次为其建僜人新村，人们的居住条件得到了根本改善。
