三味線は楽器分類学上「リュート属」に属し、その中でも胴に長い棹を差し込んだ形状をしており、このような楽器は世界各地に見られ、ギターやシタールも同じ仲間と見なされている。いっぽう同じリュート属でも琵琶やリュートなど棹と胴が一体化もしくはそれに近いものとは別の系統とされる。
楕円形の胴に革を張り、棒状の長い棹を取り付けたリュート属弦楽器は、すでに古代エジプトの壁画に見られる。しかしこれが三味線の直接的な祖先かどうかは分からない。一方同じような楽器が中国秦代にも現れ、やがて奚琴となり、トルコ族によって中東に伝えられてラバーブになった。このラバーブが後に中東及びイラン（ペルシャ）のセタールとなったという説がある（原一男による「擦弦楽器奚琴起源説」）。これは「3つの弦（糸）」の意であり、これが三味線の祖先とされる。のち中国に入り、三弦（サンシェン）が生まれる。琉球王国と中国（福州）との貿易により琉球にもたらされ、三線（サンシン）となった。これが三味線の原型という説もある（中国の三弦そのものが琉球経由で日本に入ったとする説もある）。が、その後三線は本土の三味線から逆影響を受けて完成した。このような理由にもより、沖縄では今でも中国風に「サンシン」と呼んだり、日本風に「シャミセン」と呼んだり、二つの呼称が併存している。
16世紀末、琉球貿易により堺に中国の三弦がもたらされ、短期間の内に三味線へと改良された。豊臣秀吉が淀殿のために作らせた三味線「淀」が現存するが、華奢なものの、すでに基本的に現在の三味線とほとんど変わらない形状をしている。外国楽器である三弦から三味線への改良に関しては、当道座の盲人音楽家との関連が重要である。三弦が義爪を使って弾奏していたのを改め、三味線の弾奏に彼らが専門としていた平曲（平家琵琶）の撥を援用したのもそのあらわれである。また琵琶の音色の持つ渋さや重厚感、劇的表現力などを、本来どちらかといえば軽妙な音色を持つ三味線に加えるために様々な工夫がなされたものと思われる。とくに石村検校は三味線の改良、芸術音楽化、地歌の成立に大きく関わった盲人音楽家であろうと言われる。 こうして軽重哀楽を様々に幅広く表現することのできる楽器となり、江戸時代に入るとすぐ、石村検校らにより最初の三味線音楽種目である地歌が生まれる。また語り物である浄瑠璃にも取り入れられ、三味線音楽は「歌いもの」「語り物」の二つの流れに大きく分かれ、更に分化を繰り返して大きく発展していく。また都市の芸術音楽から流行歌、やがて地方の民謡にまで盛んに使われるようになり、こうして様々な近世邦楽をリードし支え、それと同時に更なる改良が加えられ、日本を代表する弦楽器となった。
日本音楽史上、一般民衆が楽器を手にするのは、神楽の笛、太鼓、鈴を除けば、三味線を待たなければならなかった。