В то время как песни на High Voltage продемонстрировали влияние глэм-рока, от которого группа скоро откажется в пользу более оглушительного хард-рокового звучания, основы написания песен группы вполне очевидны. Так, Ангус сказал Бенджамину Смиту из VH1 в 2014 году, «я думаю, что в 60-х было прекрасное время для музыки, особенно для рок-н-ролла. Это была эпоха The Beatles, Stones, и затем позже The Who и Led Zeppelin. Но в один прекрасный момент, в 70-х, они просто стали... «мягкими». Когда Малькольм собрал группу вместе, стало очевидным то, чего не хватало в то время: еще одной великой рок-группы. Так что это была в основном реакция на это, потому что музыка в этот момент просто вошла в мягкий, мелодичный вид периода, и, казалось бы, во всем мире. Для нас это был довольно легкий выбор». Вот почему купить пластинки AC/DC хотели все большее число поклонников рока.
Шесть из восьми песен были написаны братьями Янг и Скоттом. «Soul Stripper» произошла от старой песни под названием «Sunset Strip», написанной Малькольмом и оригинальным вокалистом группы Дэйва Эванса, она была переработана для альбома с новыми стихами Скотта, и является схожей по тематике и структуре со «Squealer», песней, которая будет включена в Dirty Deeds Done Dirt Cheap в 1976 году.
«Baby, Please Don't Go» – это кавер-версия песни Биг Джо Уильямса и была выбрана в качестве первого сингла пластинки, а также стала первой на многих выступлениях AC/DC по Австралии. Первые выступления группы включали теперь легендарное живое исполнение «Baby, Please Don't Go» (с участием Скотта, одетого, как школьница-блондинка). «Love Song» превратились из песни под называнием «Fell in Love», также написана Малькольмом и Эвансом. Это ранняя версия песни, у которой были разные тексты, и окончательный текст, появившийся на альбоме, добавил Скотт.
High Voltage был первоначально выпущен на Albert Productions только в Австралии, и никогда не был переиздан другим лейблом в этом формате. Международная версия High Voltage, которая была издана на Atlantic Records в 1976, имеет другую обложку и трек-лист, только «She's Got Balls» и «Little Lover» появились за рубежом. «Baby Please Don't Go», «Soul Stripper», «You Ain't Got a Hold On Me» и «Show Business» были позже выпущены на '74 Jailbreak в 1984 году. «Stick Around» и «Love Song» были выпущены на Backtracks в 2009 году.
Альбом получил смешанные отзывы, когда он был выпущен в Соединенных Штатах. Тем не менее, только в Штатах тираж High Voltage был более чем три миллиона, потому что купить пластинки этого альбома хотели многие.