2024年4月26日发(作者：脱丽文)

第3章 无失真离散信源编码

习题

3.1 设信源

a

2

a

3

a

4

a

5

a

6

a

7



X



a

1











P(X)



0.20.190.180.170.150.10.01



(1) 求信源熵H(X)；

(2) 编二进制香农码；

(3) 计算其平均码长及编码效率。

解：

(1)

H(X)=-



p(a

i

)log

2

p(a

i

)

i1

7

(0.2log

2

0.20.19log

2

0.190.18log

2

0.180.17log

2

0.17

0.15log

2

0.150.1log

2

0.10.01log

2

0.01)

2.609 bitsymbol

(2)

a

i

a

1

a

2

a

3

a

4

a

5

a

6

a

7

(3)

7

p(a

i

)

0.2

0.19

0.18

0.17

0.15

0.1

0.01

p

a

(a

i

)

0

0.2

0.39

0.57

0.74

0.89

0.99

k

i

3

3

3

3

3

4

7

码字

000

001

011

100

101

1110

1111110

K



k

i

p(a

i

)3(0.2+0.19+0.18+0.17+0.15)+40.1+70.01=3.14

i1





H(X)H(X)2.609

=83.1%

RK3.14

3.2 对习题3.1的信源编二进制费诺码，计算其编码效率。

解：

a

i

a

1

a

2

a

3

a

4

a

5

a

6

a

7

p(a

i

)

0.2

0.19

0.18

0.17

0.15

0.1

0.01

1 / 8

编 码

0

0

1

0

1

1

0

1

0

1

0

1

码字

00

010

011

10

110

1110

1111

k

i

2

3

3

2

3

4

4

K



k

i

p(a

i

)2(0.2+0.17)+3(0.19+0.18+0.15)+4(0.1+0.01)=2.74

i1

7





H(X)H(X)2.609

=95.2%

RK2.74

3.3 对习题3.1的信源分别编二进制和三进制赫夫曼码，计算各自的平均码长及编码效率。

二进制赫夫曼码：

a

i

p(a

i

)

编 码

S

1

S

2

0.35

0

1

0

1

S

3

0.39

0

1

S

4

0.61

0

1

S

5

S

6

1.0

0

1

码字

k

i

0.26

a

1

a

2

a

3

a

4

a

5

a

6

a

7

7

0.2

0.19

0.18

0.17

0.15

0.11

0.1 0

0.01 1

10

11

000

001

010

0110

0111

2

2

3

3

3

4

4

K



k

i

p(a

i

)2(0.2+0.19)+3(0.18+0.17+0.15)+4(0.1+0.01)=2.72

i1





H(X)H(X)2.609

=95.9%

RK2.72

三进制赫夫曼码：

a

i

p(a

i

)

0.2

0.19

0.18

0.17

0.15

0.1

0.01

S

1

0.26

编 码

S

2

0.54

S

3

0

1

2

1.0

码字

k

i

a

1

a

2

a

3

a

4

a

5

a

6

a

7

7

0

1

2

0

1

2

2

00

01

02

10

11

12

1

2

2

2

2

2

2

K



k

i

p(a

i

)10.2+2(0.19+0.18+0.17+0.15+0.1+0.01)=1.8

i1





H(X)H(X)2.609

=91.4%

K

R1.8log

2

3

log

2

m

L

2 / 8

2024年4月26日发(作者：脱丽文)

第3章 无失真离散信源编码

习题

3.1 设信源

a

2

a

3

a

4

a

5

a

6

a

7



X



a

1











P(X)



0.20.190.180.170.150.10.01



(1) 求信源熵H(X)；

(2) 编二进制香农码；

(3) 计算其平均码长及编码效率。

解：

(1)

H(X)=-



p(a

i

)log

2

p(a

i

)

i1

7

(0.2log

2

0.20.19log

2

0.190.18log

2

0.180.17log

2

0.17

0.15log

2

0.150.1log

2

0.10.01log

2

0.01)

2.609 bitsymbol

(2)

a

i

a

1

a

2

a

3

a

4

a

5

a

6

a

7

(3)

7

p(a

i

)

0.2

0.19

0.18

0.17

0.15

0.1

0.01

p

a

(a

i

)

0

0.2

0.39

0.57

0.74

0.89

0.99

k

i

3

3

3

3

3

4

7

码字

000

001

011

100

101

1110

1111110

K



k

i

p(a

i

)3(0.2+0.19+0.18+0.17+0.15)+40.1+70.01=3.14

i1





H(X)H(X)2.609

=83.1%

RK3.14

3.2 对习题3.1的信源编二进制费诺码，计算其编码效率。

解：

a

i

a

1

a

2

a

3

a

4

a

5

a

6

a

7

p(a

i

)

0.2

0.19

0.18

0.17

0.15

0.1

0.01

1 / 8

编 码

0

0

1

0

1

1

0

1

0

1

0

1

码字

00

010

011

10

110

1110

1111

k

i

2

3

3

2

3

4

4

K



k

i

p(a

i

)2(0.2+0.17)+3(0.19+0.18+0.15)+4(0.1+0.01)=2.74

i1

7





H(X)H(X)2.609

=95.2%

RK2.74

3.3 对习题3.1的信源分别编二进制和三进制赫夫曼码，计算各自的平均码长及编码效率。

二进制赫夫曼码：

a

i

p(a

i

)

编 码

S

1

S

2

0.35

0

1

0

1

S

3

0.39

0

1

S

4

0.61

0

1

S

5

S

6

1.0

0

1

码字

k

i

0.26

a

1

a

2

a

3

a

4

a

5

a

6

a

7

7

0.2

0.19

0.18

0.17

0.15

0.11

0.1 0

0.01 1

10

11

000

001

010

0110

0111

2

2

3

3

3

4

4

K



k

i

p(a

i

)2(0.2+0.19)+3(0.18+0.17+0.15)+4(0.1+0.01)=2.72

i1





H(X)H(X)2.609

=95.9%

RK2.72

三进制赫夫曼码：

a

i

p(a

i

)

0.2

0.19

0.18

0.17

0.15

0.1

0.01

S

1

0.26

编 码

S

2

0.54

S

3

0

1

2

1.0

码字

k

i

a

1

a

2

a

3

a

4

a

5

a

6

a

7

7

0

1

2

0

1

2

2

00

01

02

10

11

12

1

2

2

2

2

2

2

K



k

i

p(a

i

)10.2+2(0.19+0.18+0.17+0.15+0.1+0.01)=1.8

i1





H(X)H(X)2.609

=91.4%

K

R1.8log

2

3

log

2

m

L

2 / 8