怒族村寨大小不等，大者四五十户，中等者二三十户，小者仅十余户。这些聚居村落大都是由具有血缘关系的家族组成，如福贡县的木两甲、阿尼岔两个自然村落，就是由“谷乃比”、“次邦”两个父系家族组成的。以家族或氏族为单位组成聚居村落，这是怒族村落的一个特点。
　　这些彼此有血缘关系的氏族或家庭，不仅同居于一个村落内，维系着彼此的物质联系，还共同崇拜着一个图腾动物，维系着彼此的精神联系。怒族称氏族为“起”，蜂氏族叫“别阿起”，虎氏族叫“拉么起”，此外还有马鹿氏族、麂子氏族、巨蛇氏族等……。各氏族或村寨都以所崇拜的图腾动物作为氏族或村寨特点的标志，在不同标志下的各个氏族，都有自己的氏族或村寨头人。头人由全氏族或村寨选举产生，他们在群众中享有很高的威望，但一般没有特殊权利，如果平时办事不公，群众可以撤换他们。一个村寨内如果有几个氏族，就在各氏族头人中推选一个威望最高的作为村寨头人。
　　聚居于这种村落的怒族住房，有木板和竹篾两种。木板房略大，成长方形，一般分为内外两间。外间供待客用，设有一至数个火塘，火塘上有铁三脚架或石头脚架，用来煮饭做菜；内间为主人的卧室兼粮仓，一般不许外人进入。竹篾房比较矮小，也分内外两间，但贫困人家有时只有一间。两种房屋大多分隔为两层，楼上住人，楼下关牲畜，并用许多木桩架在斜坡地上，再以木板或竹篾席铺在木桩架上。其中的竹屋由于结构简单，既易于建筑，也易于拆迁。按照传统的怒族风俗，一家建房，全村帮忙，若村有人家要建房，则村民们不分是否是同一氏族，都会纷纷送来建筑材料，一天之内就可以把房屋建成。这种竹木屋，既适合山区多雨多雾多瘴疠的特点，又适合怒族一夫一妻制家庭的社会状况。若干户这样的人家，即组成一个村寨。
　　过去，每个村寨都有村寨公有的土地，其中一部分山林或荒地又为村寨内各家族分别占有和使用。这些土地没有明显标志，但外人不得随意砍伐或耕种。距离村寨较远的高山密林为村寨公有或几个氏族共有。村寨之间也有明显的地界，无论打猎、放牧、砍柴、割蜂蜜等，都不能越出本村寨的地界，即使追逐越界的野兽，也要征得邻寨头人的同意才行。
　　氏族村寨之间过去往往因土地纠纷引起械斗，参加械斗往往是氏族或村寨全体男人的义务。但这种原始的血族复仇的习俗如今已经消失。