日本的证券公司历史悠久，早在明治维新时期就出现了证券公司的雏形。然而，由于历史的原因，间接融资在日本的金融体系中始终占有极其重要的地位，大财阀雄厚的资金实力也为经济的发展提供了充足的物质基础。因此，长期以来日本的证券市场始终处在发展非常缓慢的状态中。直到二战以后，日本的证券市场才逐渐活跃起来，证券公司也随之发展起来。

二战以后，由于财阀的解散，间接融资在日本金融体系中的中心地位逐渐动摇，再加上战争期间国民经济遭受重创，仅仅通过银行融资根本不能满足经济发展的需要。1947年，日本政府颁布了《证券交易法》，标志着投资银行和商业银行分业经营模式的确立和现代投资银行业的诞生。20世纪60年代，随着日本经济的腾飞，日本的证券公司也飞速发展起来，在为国民经济发展筹集资金方面发挥了巨大的作用。与此同时，日本政府开始逐步开放资本市场，日本的证券公司也跨出国门，在国际资本市场中占据重要地位。

由于历史的原因，日本的投资银行业始终缺乏充分竞争的市场机制，垄断相当严重。60年代以后，行业集中加剧，形成了以野村、大和、日兴、山一证券公司为主，新日本、三洋证券公司次之，同时有其他小券商并存的格局。四大券商在很大程度上操纵和控制着日本证券市场，它们包揽了一级市场上80%的承销业务，二级市场上的大宗买卖也多由他们代理，外国公司在日本发行的债券或上市股票的80%由四大证券公司承销，加上他们间接控制的一些中小证券公司，四大公司的垄断地位难以动摇。

日本投资银行业缺乏充分竞争机制还表现在固定费率上，它们以手续费为主要收入。日本证券公司的证券零售代理和交易业务占全部业务的比重较大，这一点有别于美国超一流的投资银行，后者不像日本那样在全国各地开设众多的证券营业部，因此盈利中只有极少部分来源于这些业务。日本证券公司一直实行固定费率制，即按照代理买卖交易量的一定比率收取手续费，缺乏灵活性。而美国等西方国家的投资银行早就在代理业务费上引入了竞争机制，实行协议佣金制，手续费收入在其总收入中的份额呈递减趋势，一般不超过30%。

日本的固定费率制度给日本的证券公司带来了可观的收入，因而手续费一直占证券公司收入的很大比重。固定费率制减少了价格竞争的可能性，稳定了日本证券公司和其客户的长期关系。大企业和机构投资者多通过四大证券公司从事证券交易，从而为它们带来了可观的手续费收入。在互惠互利的基础上，证券公司秉承“追随客户”的原则，倾其所能地为大客户服务，从而使得证券公司不惜违反证券法规为客户提供内幕消息，甚至动用自有资金弥补企业经营上的损失。近年来，日本被披露的数起涉及四大证券公司的金融丑闻，与日本证券公司和大企业财团的这种微妙关系不无关系。