不用游戏引擎做游戏有多难?
取决于几个问题。
一个是你从哪开始，同样是不用引擎。从OpenGL+平台窗口api，和从SDL，和从ogre，和从MonoGame。完全不是一个概念。
一个是你到底要做什么规模的游戏。这也完全不是一个概念。
比如你从MonoGame这个档开始，做一个小规模的2D平台游戏。对比游戏引擎，其实就多了自己把碰撞系统，关卡瓦片系统，动画系统，简单物理系统，实体管理系统，如果想让画面和玩法更丰富些，可以再写个粒子系统和路径搜索，这些附加功能写完就可以开始了。没比从Unity/Unreal开始难太多太多。这一层叫做游戏框架，一般不称为游戏引擎，因为只提供给开发者游戏循环和非常简单的显示，资源，音频部分，其余的支持很少。
如果你从ogre这一档开始，你仅仅拥有你的场景，你可以添加你的灯光相机，添加你的地形天空，你拥有网格，拥有阴影，作为一个图形引擎，你方便的拥有了渲染部分。但是额外的你一无所有，你得考虑音频如何播放的方案，各种游戏设备输入检测的方案，物理碰撞检测的方案。另外还有游戏的专属类，例如游戏循环，组件模式，更新方法。这一层叫做图形库或者叫渲染引擎，一般提供对象图和3D渲染部分，其余的关于游戏的部分不会提供。
如果你从SDL这一档开始，你连你的世界都不存在了，你要考虑一切显示的东西，例如图像如何显示，纹理如何加载，GUI如何显示。游戏类，游戏循环，游戏对象类，场景图等依然要编写。这一层的叫法有很多，比如窗口库，多媒体库，游戏库，通常是OpenGL的携带库，自带上下文环境，便于直接使用OpenGL。这一层和游戏框架的显著区别是，游戏框架是框架调用你的代码，而库是你调用库的代码。
如果你从OpenGL这一档开始，你甚至连你的程序窗口都没有了，你要考虑你的平台窗口API，你要从你的GPU驱动中检索OpenGL函数，在这个级别，你相当于一个孤单的画家，你只有你的画笔，其余什么都没有。OpenGL甚至不会记住你画的是什么，你要自己记住它，自己更新它，不断的做绘制，擦除的循环。这一切包括，顶点缓冲区，正交透视相机，材质系统，纹理渲染，帧缓冲区等等等等。这一层叫做图形api规范，一般由GPU厂商开发者编写，根据委员会规范提供api供开发者使用。
如果你连GPU都不想用，可以直接考虑 Ray casting+ASCII 在控制台应用程序中渲染游戏画面，就像《Doom》那样。或者借鉴任天堂早期的SNES的Model7，用 Affine transformation 来伪造3D，就算没有图形卡也能跑的起来的伪3D世界。
就好比你把提问换成了，不去火锅店的话，吃一顿重庆火锅有多难。
你可以买一盒自热火锅，只需倒上水即可。（Construct）
你可以买一包火锅底料回家自己煮。（Unity/Unreal）
你可以买牛油和干辣椒回家自己炒火锅料。（MonoGame，经典案例有：《蔚蓝》《星露谷物语》《泰拉瑞亚》《盗贼遗产》）
你可以买牛肉和辣椒回家自己熬制牛油自己晾制干辣椒。（ogre，经典案例有：《火炬之光》《废品机械师》《Kenshi》《Roblox》）
你可以买个牛犊子和辣椒种子，自己养牛自己种植辣椒开始。（SDL，经典案例有：《神界原罪》《消逝的光芒》《博德之门3》《群星》《哈迪斯》《矮人要塞》）
你可以自己培育牛的品种和辣椒的品种，从牛的配种和辣椒的嫁接开始。（OpenGL）
你可以完全抛弃人类社会的购买途径，去自然界追寻牛和辣椒是如何进化演化的，是如何演变成我们如今吃到的品种的。到这层的时候我想已经不是为了单纯做游戏产品了，已经是在品味历史了，因为游戏从2D到伪3D到真3D就是这么过来的。（Ray casting / 仿射变换 + ASCII）
射线投射的初步原理可以看我另外一篇文章：
用最直观的gif解释毁灭战士(Doom)的渲染原理所以说，越到底层，你的自由度越大，就像你可以养出油脂更高的牛，培育出更辣的辣椒。直接买火锅料的话，什么口味你都得依从火锅料了。比如人家给你用了劣质的原材料(源代码)造成你吃完了拉稀(游戏卡顿)，也得忍着。
