凝胶色谱柱的填料是以刚性的球形硅胶为基质，在其表面通过共价键化学键合亲水团而成。色谱柱的填料具有高性能尺寸排阻色谱所需的性能，即低吸附性和良好的孔径分布；其pH适合范围为2.5～7.5，可以使用与水*互溶的有机溶剂，如乙腈、丙酮、甲醇或乙醇等。
商品凝胶是干燥的颗粒，通常以40～63um的使用多。凝胶使用前需要在洗脱液中充分溶涨一至数天，如在沸水浴中将湿凝胶逐渐升温到近沸，则溶涨时间可以缩短到1～2小时。凝胶的溶涨一定要*，否则会导致色谱柱的不均匀。热溶涨法还可以杀死凝胶中产生的细菌、脱掉凝胶中的气泡。
由于凝胶色谱柱凝胶的分离是靠筛分作用，所以凝胶的填充要求很高，要使整个填充柱非常均匀，否则要重填。凝胶在装柱前，可用水浮选法去除凝胶中的单体、粉末及杂质，并可用真空泵抽气排出凝胶中的气泡。
在玻璃或有机玻璃的凝胶空柱，在柱的两端皆有平整的筛网或筛板。将柱垂直固定，加入少量流动相以排除柱中底端的气泡，在加入一些流动相于柱中约1／4的高度。柱顶部连接一个漏斗，颈直径约为柱颈的一半，然后在搅拌下、缓慢的、均匀地、连续地加入已经脱气的凝胶悬浮液，同时打开色谱柱的毛细管出口，维持适当的流速，凝胶颗粒将逐层水平式上升，在柱中均匀地沉积，直到所需高度位置。然后拆除漏斗，用较小的滤纸片轻轻盖住凝胶床的表面，再用大量洗脱剂将凝胶床洗涤一段时间。
