世界上最原始的秤，其实物证据（石块砝码）发现于今巴基斯坦境内的印度河文明遗址（约2400-1800 B.C.），距今已有三、四千年的历史。古埃及人在同时代（约1878B.C.）的记载中也有提及，但至今没有发现实物。在中国，秤的出现也很早。春秋中晚期，楚国已经制造了小型的衡器——木衡、铜环权，用来称黄金货币。完整的一套环权共十枚，大体以倍数递增，分别为一铢、二铢、三铢、六铢、十二铢、一两、二两、四两、八两、一斤。中国历史博物馆藏有一支战国时的铜衡杆，这种衡器即不同于天平也不同于后来的称杆，但与不等臂天平类似。经过逐步演化的过程，衡杆的重臂缩短，力臂加长，也就成为了现代仍在使用的杆秤。杆秤在耶稣诞生前由游牧部传入了西方，被命名为罗马秤。在许多拉丁语作家的著作中都有关于这种秤的记载。罗马秤两臂不等，称物端的秤臂较短，且长度固定不变。在称量重物时，移动秤杆另一端的秤锤（这样就改变了该端秤臂的长度），直到秤杆达到水平状态时为止。使用这种秤可以称量比秤锤重得多的物体。
1670年，法国著名的数学家、物理学家和机械设计师吉尔·佩尔索纳·德·洛百瓦尔（Gilles Personne de Roberval，1602—1675）于1670年将他发明的案秤报送巴黎科学院。这是一种等臂双盘案秤（又名磅秤）。秤盘装在秤梁两端，下面装有刚性导杆，可在称座上相应的导孔内上下移动。这样，当秤梁绕轴摆动时，在导杆作用下，秤盘可做上下移动，但其水平状态保持不变。直到现在，洛百瓦尔案秤仍然是世界上使用最为普遍的商业秤。
手工制作杆秤的工艺在中国流传历史悠久，其中有两种传说较为广大群众认可。
1、一种说法是木杆秤是由鲁班发明的，根据北斗七星和南斗六星在杆秤上刻制13颗星花，定13两为一斤；秦始皇统一六国后，添加“福禄寿”三星，正好十六星，改一斤为16两，并颁布统一度量衡的诏书；
2、另一种说法是杆秤由范蠡所制。他由一个鱼贩得到启示，先用根竹竿，一边放水筒，一边放鱼，利用杠杆原理发明；后来又进行了改造，根据北斗七星和南斗六星在杆秤上刻制13颗星花，定13两为一斤，但因为有些商家缺斤少两，便添加“福禄寿”三星，表明，缺一两少福，缺二两少禄，缺三两少寿。
在我国，直到20世纪50年代，国家实行度量衡单位改革后，才把秤制统一改为10两一斤。
