20世纪50年代初，北约和华约开始进行冷战对峙阶段，1954年原西德制定了新的军备计划，并开展了与制式步枪不同的制式冲锋枪试验，以此为促进国产冲锋枪的研制开发。德国国内各大枪械公司参加了这次试验，而一些国外的进口枪也参与其中。

　　同年，为参加这次试验，HK公司的设计师蒂洛·黙勒(Tilo MÖler)、曼佛雷德·格林(Manfred Guhring)、乔治·塞德尔(Georg Seidl)和赫尔穆特·巴尔乌特(Helmut Baureuter)开始了命名为“64号工程”的设计工作，这项设计的成品是使G3步枪小型化的冲锋枪，命名为MP·HK54冲锋枪。该枪发射9×19 mm手枪弹，准星与初期的CETME步枪相似，呈圆锥形，照门则与后期的CETME步枪相似，为翻转式。

　　20世纪60年代初，HK公司忙于G3步枪的生产，末能顾及HK54的发展，直到1964年HK54尚未投入生产，仅有少量试制品。1965年，HK公司才公开了HK54，并向德国军队、国境警备队和各州警察提供试用的样枪。

　　1966年秋，西德国境警备队将试用的MP·HK54命名为MP5(Machine Pistol 5)冲锋枪。这个试用的名称就这样沿用至今。同年瑞士警察也采用了MP5，成为第一个德国以外采用MP5的国家。

　　通过试用，HK公司对MP5原枪型的瞄具进行了改进，将翻转式照门改为可在25～100m之间调整的回转环式照门；露出的准星改为带防护圈的准星；带鳍状物的枪管改为光滑的不带鳍状物枪管；枪管前方增加了三片式的卡笋，用以安装消声器、消焰器之类的各种枪口附件，经过上述改进的MP5被称为MP5A1。

　　MP5的性能优越，特别是它的射击精度相当高，这是因为MP5采用了与G3步枪一样的半自由枪机和滚柱闭锁方式，而当时大部分冲锋枪均采用枪机自由后坐式以减少零部件，降低造价。所以MP5与华尔特(Walther)公司的MPK和MPL相比，其零部件较多，单价较高。试用结果是：国境警备队选用了MP5，而其他各州的警察部门则根据预算，有的选用MP5，更多的是选用华尔特公司的MPK、MPL。

　　MP5A1的单价比MPK、MPL高，未能在德国警察中推广使用。但在一些实际行动中MP5得到了很高的评价。1972年阿拉伯恐怖分子潜入奥运村劫持了以色列的运动员代表，以巴伐利亚州警察为主的德国警察部队在营救人质行动时采用了MPK冲锋枪，由于该枪射击精度低，无法狙击以人质为盾的恐怖分子。

　　1977年10月17日，GSG9在摩加迪加机场的反劫机行动中使用了MP5，4名恐怖分子均被MP5击中，3人当即死亡，1人重伤，人质获救，MP5在近距离内的命中精度得到证明。此后德国各州警察相继装备MP5，而国外的警察、军队特别是特种部队都注意到MP5的高命中精度，于是出口逐渐增加。

　　到20世纪80年代，美国轻武器装备服务规划办公室(JSSAP)需要为特种部队寻求一种性能可靠的9mm冲锋枪，经过多番对比试验，最后选定HK公司生产的MP5冲锋枪，就这样，MP5又从美国获得大量的订单，首先是军方的特种部队，然后是各地的执法机构。正如下面的广告宣传语一样，MP5差不多成了反恐怖特种部队的标志。