便携式拉曼光谱仪主要由三大部分组成，即用于激发拉曼信号的小型半导体激光器，用于传导激发光并收集拉曼信号的拉曼探头以及小型化的光谱分光系统。这几部分的配制直接决定了便携式拉曼光谱仪的性能。
1、激发光源
拉曼效应的产生需要一定频率的光进行激发。最初，采用汞弧灯作为激发光源。但由于拉曼光强较激发光小 6~7 个数量级，拉曼信号很微弱，从而限制了后期的光谱检测以及相关应用。因此，在拉曼效应被发现后的 30 多年，并未得到广泛应用。20 世纪 60 年代，激光器的发明解决了拉曼激发光源的问题，拉曼光谱仪得到了快速的发展。
为了得到更好的拉曼光谱，光谱仪往往采用窄线宽的单色激光作为激发光源。实验室用拉曼光谱仪所用激光器普遍占地较大，不利于小型化、现场化。合适的激光器应满足几个条件：体积小、能量高足以激发出拉曼光，线宽小且输出稳定。目前，商业化的便携式拉曼光谱仪普遍采用波长为 532 nm 或 785 nm 的小型固态半导体激光器。
2、拉曼光纤探头
拉曼探头包含激光传导聚焦、拉曼光收集以及滤波作用。激光器输出的激光由光纤导入并聚焦，使之作用于样品。这样可以得到足够的光能量，激发出拉曼信号。收集拉曼信号，滤去瑞利散射，并将其导入后端光谱仪。
总体来说，拉曼探头需要满足下列要求：
1) 激光窄带滤波，使得激光线宽小；
2) 激光聚焦，光斑小，使输入功率尽量低，功率密度足够高；
3) 对拉曼信号收集效率高；
4) 对瑞利信号阻挡；
5) 结构简单，紧凑。
比较常见的探头设计为直角光路，激光发射与收集部分共路，这样可以收集到激发点的信号。并且直角光路可以使输入输出光纤在同一端。在聚焦一端，往往引进金属长筒，便于探入液体或比较深的物质进行鉴定。
3、小型化光谱仪
光谱仪主要包括入射狭缝、分光系统、接收系统等。经狭缝的拉曼信号，进入分光系统，分光元件通常为棱镜或光栅，一般采用车尔尼特纳(C-T)分光光路结构。空间分开的光谱信号由线阵或面阵 CCD 接收，经处理后传递给计算机进行存储、显示及分析。
