这句成语，来源于东汉郑玄的《诗谱》序，原文是：“举一纲而万目张，解一卷而通篇明。”隋朝的王通也说过：“举一纲，众目张；弛一机，万事隳。”
纲，是网上的总绳。目，是网眼。提起网上的纲绳，许许多多网眼就会全都打开，这叫做“纲举目张”。比喻干任何事情，只要抓住它的关键，其余环节便能随之带动起来。
纲和目的关系，也可用提要、摘录之类的参考书籍来说明。这类参考书，往往既有扼要的大纲又有详尽的细目，便于索纲引目。如宋代学者朱熹根据司马光的一部史书《通鉴》编成一套参考书，就叫《通鉴纲目》；明朝李时珍编订的中草药典《本草》，就叫《本草纲目》。
同时，人们比喻凡事能抓住要点，就叫“提纲”，与另一个同义词“挈领”组合而成为成语“提纲挈领”，意思也就是抓到了要领。挈，提赶来；领，衣领。挈领，就是抓住了衣服的主要部分。《荀子》：“若挈裘领，屈五指而顿之，顺者不可胜数也（好比提起皮衣的领子，屈着五个指头勾住领子抖一抖，无数的毛就都顺溜了）。”