设计概念上主要是下挂于HK G36突击步枪，设计者是德国武器生产公司黑克勒-科赫的总公司奥伯恩多夫卡。它首次出现是作为黑克勒-科赫对美国陆军的增强型榴弹发射器模组（Enhanced Grenade Launcher Module，EGLM）要求的竞标产品，亦且为了用于增加在下挂于XM8和FN SCAR两枝步枪后的性能评价。作为一般人都会犯下的错误，在这里“A”并不是设计特点作为“G36”的附加名称，“G”在这里是“Gewehr 36”的缩写。但是由于实际上这是一个缩写的关系，其德文全写其实是Anbau-Granatwerfer，字面上的意思是“附加型榴弹发射器”，而“36”之名主要是来自原来的武器，也就是旨在提高的HK G36的性能。

AG36是一具单发式武器，有类似M79式设计的中折式装填枪管。和美军现役的M203的设计相反，AG36设计上是横向式装载，并允许在必要时使用更长的弹药（例如橡胶子弹、防暴弹、催泪弹）。当打开时，后膛是在左边。安装在步枪上的护木会被AG36所取代。此类武器有一个连着扳机护圈的手动安全杠杆和一支方便舒适地握持的手枪握把。针对熟练的使用者而同时设计立式标尺及准星型瞄具，此瞄具可安装于武器的左右两边。装上立式标尺及准星型瞄具后最大距离是400 米（437.45 码）。立式标尺每一行增加50 米（54.68 码），左边（黄色）是用于在30 米内发射近距离用弹药，而右边（白色）是用于发射范围达350 米的低速弹药。在不使用时亦可折叠或拆卸下来。由于装上战术导轨，亦可安装激光指示瞄准器（LLM）或其他辅助瞄准器。另外，如果要把AG36由附加型榴弹发射器改装成为肩射型，只需要装上枪托组件就可。