Seine Aufgabe besteht darin, einen Kompromiss zwischen den Positionen von Bundestag und Bundesrat herzustellen, wenn in einem Gesetzgebungsverfahren Uneinigkeit herrscht. Er setzt sich aus je 16 Mitgliedern des Bundesrates und des Bundestages zusammen. Besonders gefragt ist seine Vermittelungsarbeit, wenn in Bundestag und Bundesrat unterschiedliche Mehrheitsverhältnisse bestehen. Weiterhin kann der Bundesrat seine Einberufung verlangen, wenn er gegen einen Gesetzbeschluss des Bundestags Einspruch erheben will, der nicht seine Zustimmung benötigt. Bei Zustimmungsgesetzen können auch die Bundesregierung und der Bundestag ihn einberufen. Der Vermittlungsausschuss hat kein Initiativrecht, d. h. er darf keine Gesetzesvorschläge in den Bundestag einzubringen.